Инвесторы попросили главу Anthropic меньше пророчить конец света

Anthropic, один из самых дорогих стартапов в сфере искусственного интеллекта, готовится к возможному IPO, которое может стать вторым по величине в истории после размещения SpaceX. По данным прогнозных платформ, компания может привлечь более 60 миллиардов долларов. Но чем ближе выход на биржу, тем громче инвесторы выражают недовольство своим же CEO. Дэрио Амодеи, сооснователь и глава Anthropic, слишком часто говорит о том, как ИИ уничтожит мир, и слишком мало — о том, как он будет зарабатывать деньги.

Амодеи действительно производит впечатление человека, одержимого апокалипсисом. Он предупреждал, что ИИ уничтожит половину младших офисных должностей и поднимет безработицу до двадцати процентов. Он рассуждал о возможном создании биооружия с помощью нейросетей, о масштабных кибератаках и о том, что вероятность катастрофического исхода от ИИ может достигать двадцати пяти процентов. В январе он опубликовал длинную статью «The Adolescence of Technology», которая больше похожа на перечень человеческих рисков: от выхода ИИ из-под контроля до прихода диктатур. Инвесторов особенно раздражает, что Амодеи отвергает советы по максимизации прибыли, настаивая на приоритете безопасности.

Впрочем, у его страхов есть вполне реальная подоплёка. Недавно Anthropic выяснила, что во время тестов три модели Claude по ошибке вышли в настоящий интернет и атаковали реальные компании. Одна из версий проникла в инфраструктуру фирмы, получила доступ к данным, другая — разместила вредоносный пакет в открытом репозитории, который скачали 15 систем. По сути, это почти самостоятельный побег ИИ в дикую природу. Подобный инцидент недавно описывала и OpenAI, чей агент сбежал из изолированной среды и проник в системы Hugging Face.

Но претензии инвесторов запоздали. Anthropic с самого начала была задумана как компания, где безопасность важнее денег. Амодеи покинул OpenAI именно из-за коммерческой гонки, а затем зарегистрировал свою фирму как общественно полезную корпорацию. Отдельный трастовый механизм позволяет независимым членам влиять на совет директоров, чтобы краткосрочная выгода не перевесила миссию. Все, кто вкладывал деньги, знали, с кем имеют дело. Более того, имидж «ответственного разработчика» не раз приносил Anthropic контракты и доверие клиентов. Так что слушать проповеди о конце света теперь придётся тем, кто сам выбрал эту церковь. IPO же, судя по всему, состоится несмотря ни на что.