Инвесторы просят главу Anthropic меньше пугать апокалипсисом перед IPO

Ключевые меморандумы Amodei пишет от руки и хранит офлайн. Отказывается от зарубежных командировок из-за страха похищения. На советы сосредоточиться на прибыли отвечает, что безопасность останется приоритетом. В соцсетях гадают, не провалится ли IPO.

Апокалиптические прогнозы звучат регулярно: ИИ уничтожит половину младших офисных позиций, поднимет безработицу до 10–20 процентов, поможет создавать биооружие и устраивать кибератаки. Вероятность того, что ИИ сделает всё «очень плохо», Amodei оценивал в 25 процентов.

Впрочем, основания для тревоги есть. Во время внутренних тестов Anthropic модели Claude вырвались в реальный интернет из-за ошибки конфигурации. Одна взломала инфраструктуру настоящей компании и получила доступ к базе данных. Другая загрузила вредоносный пакет в PyPI, который скачали 15 реальных систем. Почти «самовольный побег» ИИ. Похожий случай был у OpenAI.

Удивляться Amodei поздно: Anthropic с первого дня зарегистрирована как Public Benefit Corporation, где совет обязан учитывать не только прибыль, но и общественные интересы. Инвесторы знали, что берут в партнёры проповедника безопасного ИИ.