Он предсказывает, что искусственный интеллект уничтожит человечество, но всё равно активно его строит — противоречия и восхождение главы Anthropic

В Кремниевой долине генеральных директоров обычно описывают как гениев продаж, фанатиков продукта или мастеров управления на рынке капитала.

Но один из основных инвесторов Anthropic в частной беседе оценил Dario Amodei так: скорее он похож на религиозного лидера, чем на генерального директора.

Anthropic — AI-гигант, стоящий за Claude, с оценкой, приближающейся к триллиону долларов, и темпами роста выручки, вызывающими восхищение всей индустрии. Но его ядро — это не «мы помогаем человечеству с помощью AI писать код, разрабатывать лекарства, зарабатывать деньги», а «мы должны предотвратить уничтожение человечества созданными нами технологиями».

Человек, верящий в конец света, основал компанию, максимально приблизившуюся к передовой AGI; тот, кто постоянно предупреждает об опасностях AI, сам выводит более мощные технологии на мировой рынок.

Это парадокс Dario Amodei, а также главное противоречие, с которым Anthropic столкнется при выходе на биржу.

Уход: рождение «секты жрецов конца света»

Чтобы понять, каким сейчас стал Amodei, нужно вернуться к его годам в OpenAI.

В 2016 году этот уроженец Сан-Франциско, обладатель докторской степени по биофизике из Принстонского университета, присоединился к OpenAI в качестве руководителя по вопросам безопасности. Тогда OpenAI была пронизана культурой открытости — совместное использование кода, публикация исследований, во всем учреждении царил светлый оптимизм «AI во благо человечества».

Amodei был чужим среди своих.

С 2018 года он начал продвигать, как считали коллеги, почти параноидальную систему информационного контроля: все исследования перед публикацией должны проходить проверку на «информационный вред», опасаясь, что некоторые результаты заинтересуют конкурентов. В своей квартире в Сан-Франциско он писал внутренние меморандумы на компьютере, физически изолированном от интернета, распечатывал их и раздавал коллегам, отказываясь пользоваться Google Документами.

В 2019 году его команда безопасности из-за угрозы, что GPT-3 может дотянуться до уровня AGI, отложила переговоры о вложении 1 млрд долларов от Microsoft в OpenAI на несколько месяцев. «Команда безопасности велась как жреческая каста», — сказал впоследствии бывший топ-менеджер OpenAI.

Конфликты с CEO Sam Altman и президентом Greg Brockman лишь усугублялись. В центре споров стоял не только вопрос лидерства в конкретных проектах, а более фундаментальное расхождение: работает ли эта компания ради блага человечества или она создает «бомбу замедленного действия»?

В конце 2020 года Amodei вместе со своей сестрой Danielа и еще пятью коллегами ушел из OpenAI и основал Anthropic.

По словам человека, часто общавшегося с этим основательским ядром, объединяло их тогда сильное анти-OpenAI настроение — а точнее, страх перед Sam Altman. «Взрослые люди говорили друг другу: “этот человек принесет нам апокалипсис”», — говорит собеседник. — «Это превратилось в очень сплочающий боевой клич».

Anthropic с первого дня в себе несет внутреннее противоречие: он создан, чтобы сделать AI безопаснее, но при этом вынужден разрабатывать сильнейшие модели в самой ожесточённой гонке вооружений искусственного интеллекта.

Религиозное ядро, ракетный рост

Внутри Anthropic есть термин, которым сотрудники называют общие встречи с Amodei раз в две недели — «Видения Dario» (Dario's Vision Quests).

На таких встречах он открывает длинный документ и высказывает свои откровенные мысли о будущем AI, политики, войны и социума. Это не роудмап продукта, не квартальные цели, а судьба человеческой цивилизации. Сотрудники описывают свою работу как «редкий шанс в истории человечества». В компании есть штатный философ — он помогает скорректировать личность и ценности Claude. У Claude есть собственная Конституция в письменном виде.

Anthropic выглядит скорее как сообщество, организованное вокруг риска конца света и технологической гонки, чем как обычная софтверная компания.

И эта община приносит ошеломляющие прибыли рекордными темпами.

Ключевой прорыв — резкий скачок способностей Claude в сложных задачах программной инженерии, машинного обучения и кибербезопасности. Благодаря этому Anthropic в начале этого года по годовому обороту обогнала OpenAI. Оценка компании выросла с менее чем $500 млн до почти $965 млрд — увеличение более чем в 200 раз за три года.

Однако на графике роста видны следы напряжения между Amodei и его принципами.

В прошлом году исследователи заметили, что модель Claude 4 может тревожно эффективно помогать в разработке биологического оружия. Для этого Anthropic создала специальные AI-фильтры, но эти фильтры дорогие и часто ошибочно блокируют обычные диалоги. Когда финансовая команда пожаловалась, что прибыль уменьшается, Amodei настоял на их сохранении ради безопасности.

Но с усилением конкуренции уступки все же появились. В начале этого года Anthropic обновила политику «ответственного масштабирования», убрав обязательство не выпускать модели, если не удается обеспечить снижение риска. Главный научный сотрудник Jared Kaplan признал: «Когда конкуренты двигаются на полной скорости, мы не считаем односторонние обязательства разумными».

Amodei публично писал, что AI должен использоваться в интересах демократических разведслужб, чтобы «разрушать авторитарные режимы изнутри». Но Anthropic уже приняла инвестиции от Катара и ОАЭ, двух авторитарных государств. В Slack он написал: «К сожалению, принцип “никто из плохих не должен получить выгоду от нашего успеха” труден для ведения бизнеса».

Anthropic ежемесячно платит более $1 млрд за вычислительные мощности компании Илона Маска SpaceX — хотя сам Маск и Amodei не раз публично спорили по вопросам безопасности AI и благотворительных целей.

Противоречия никуда не исчезли. Их просто временно приглушил бурный рост.

Накануне IPO: терпение инвесторов на испытании

Сейчас появился шанс.

По данным The Information, Anthropic может выйти на биржу уже в сентябре этого года. Amodei впервые предстоит отвечать перед публичными инвесторами — теми управляющими фондами, которые потеряли на волатильности AI-акций, институциональными покупателями, вынужденными отчитываться перед LP, и аналитиками с Уолл-стрит, для которых важны коэффициенты прибыли и свободный денежный поток.

Они видят две разные Anthropic.

Одна — это машина роста: оценка за три года выросла в 200 раз, по обороту Anthropic догнала Oracle, которой уже полвека, но сотрудников при этом в 33 раза меньше, и их эффективность поражает.

Другая — это черная дыра рисков: управляется основателем, не склонным к «очарованию рынков», публично поддерживает регулирование AI, постоянно напоминает рынку о возможной катастрофичности своих технологий, отказывается давать военные лицензии на «любые законные применения» администрации Трампа, не хвалит президента в «диктаторском» стиле.

Один из управляющих фондами, встречавшихся с Anthropic, прямо сказал, что хотел бы, чтобы Amodei «перестал всех пугать». Один из венчурных инвесторов в Кремниевой долине перед сделкой записал в свои заметки, что для него главный внештатный риск этой инвестиции — неуверенность, действительно ли Amodei заботится о прибыли.

Даже среди существующих инвесторов, которые сильно выиграют при IPO, есть недовольные — они в частных разговорах жалуются, будто позиция Amodei по регулированию AI вредит компании и всему техсектору. Венчурные капиталисты Marc Andreessen и David Sacks, тесно связанные с администрацией Трампа, обвиняют Amodei в «регуляторном захвате», якобы ради монополизации рынка Anthropic ограничивает open-source AI. Bill Gurley написал в SMS: «Это самый агрессивный регуляторный захват, который я видел».

Известный предприниматель и инвестор Eric Ries смотрит на ситуацию спокойнее. Он считает, что непрерывная зависимость Anthropic от дорогих чипов и дата-центров даст инвесторам серьезный рычаг. «Вопрос в другом: что случится, когда акции упадут?»

Парадокс пророка конца света

AI-исследователь Nate Soares знаком с Amodei больше десяти лет, изучает экзистенциальные риски AI. Он соавтор книги «Если кто-то построит — все погибнут». Он курирует дом в Беркли, Калифорния, где живет группа авторов, создающих контент на тему «конца света от AI».

Наблюдая за взлетом Amodei, он испытывает тревогу, которую сложно описать словами.

«Чтобы основать такую AI-компанию, приняв все доводы о рисках, нужен определенный характер», — говорит он.

Вероятно, это и есть самое точное описание Dario Amodei.

Уже в 2017 году он с трибуны в Вашингтоне предупреждал: AI-системы будут работать с такой скоростью, что люди не смогут их ни контролировать, ни понять. Почти десять лет подряд он неустанно ускоряет их появление — и одновременно настаивает: в этом единственный шанс предотвратить худшее.

Логика в этом есть? Пожалуй, да. Опасно ли это? Несомненно.

Инвесторы, собирающиеся купить акции Anthropic, должны решить не только, сможет ли компания продолжать рост, но и более принципиальный вопрос — стало ли это противоречие самой глубокой рвом Anthropic или ее самой большой угрозой?