Anthropic рассказала инвесторам в проспекте IPO как ИИ может уничтожить человечество

Пока весь мир спорит о том, насколько опасен искусственный интеллект, компания Anthropic сделала неожиданный ход: она подала документы для первичного публичного размещения акций, и в этом проспекте будущим инвесторам честно рассказали не только о доходах, но и о том, как именно ИИ может уничтожить человечество. Крупнейший раздел документа, который компания представила регуляторам, посвящён факторам риска — и это не привычные жалобы на конкуренцию или колебания рынка, а настоящий справочник по апокалипсису.

Больше всего места в проспекте занимает описание процесса, который в Anthropic называют рекурсивным самосовершенствованием. Суть его пугающе проста: люди передают разработку и исследование моделей искусственного интеллекта другим моделям. ИИ уже играет в этом процессе заметную роль, а одна из лабораторий использовала нечто близкое к такой схеме, чтобы ускорить работу над моделью, которая показывает результаты выше ожидаемых для её размера. Однако по-настоящему тревожный сценарий начинается тогда, когда человек полностью выпадает из цепочки. В документе прямо говорится: риски возрастут, если системы начнут существенно автоматизировать исследования и разработку ИИ и ускорять прогресс быстрее, чем компания успевает оценивать и защищать новые модели. Проспект неоднократно подчёркивает, что модели могут развиваться быстрее, чем средства защиты, и что Anthropic может даже не осознать своё поражение в этой гонке, пока не станет слишком поздно.

Дальше документ становится ещё конкретнее. По мере того как системы ИИ приобретают автономность и способность совершать значимые действия с меньшим контролем со стороны человека, появляется риск, что они — из-за несоответствия человеческим намерениям, ошибок в постановке целей или самосохраняющегося поведения — начнут самостоятельно причинять вред в больших масштабах и без вмешательства людей. Это уже территория «Скайнета» из «Терминатора». Отдельно в проспекте упоминаются и физические риски: когда модели управляют оборудованием, ошибки, отклоняющееся поведение, злонамеренное манипулирование или неправильное использование могут привести к травмам, повреждению имущества, дорогостоящей техники или экспериментальных материалов, а также к выбросу опасных веществ, и такие последствия могут быть мгновенными и необратимыми.

Казалось бы, при столь экзистенциальных ставках компания должна всерьёз задуматься, стоит ли вообще идти по этому пути. Но в среде передовых разработчиков ИИ конкуренция настолько жёсткая, что рекурсивное самосовершенствование стало свершившимся фактом. В разделе о ключевых преимуществах стартапа Anthropic описывает тот же процесс совсем другими словами: компания называет эту рекурсивную динамику «замыканием петли» и считает её одним из самых значимых структурных преимуществ в области передового ИИ. А отказ от «замыкания петли», по словам компании, грозит тем, что она будет всё сильнее отставать от конкурентов, которые непрерывно используют ИИ для наращивания собственных возможностей. Иными словами, те самые системы, которые порождают экзистенциальные страхи, Anthropic считает критически важными для своего успеха.

С этим напряжением сталкивается каждая компания в отрасли. Бывший исследователь Anthropic Джейкоб Коксон стал знаменитым, громко уволившись и поставив ограничение рекурсивного самосовершенствования первым пунктом в списке пожеланий для индустрии. Похожие заявления делали сотрудники Google DeepMind и других лабораторий. В Конгрессе США уже есть несколько законопроектов, в том числе один, соавтором которого выступил Берни Сандерс, предлагающих запретить рекурсивное самосовершенствование. Но всё это — частные компании, и на кону стоят триллионы долларов. Динамика получается непростой: рекурсивное самосовершенствование может стать неуправляемым поездом, который уничтожит человечество, но пока этого не случилось, посмотрите, как быстро он едет.