OpenAI переписала правила для ИИ: главное — верность намерениям человека

OpenAI переписала правила для больших моделей, и первым пунктом поставила верность человеку. Речь идёт об обновлённом документе Model Spec — своде принципов, которому должна следовать GPT. В этот раз компания сформулировала пять ключевых ценностей и посвятила им текст объёмом около пятидесяти тысяч слов. Первая и главная ценность звучит так: «верность человеческим намерениям». Похоже, поводом стали накопившиеся за последнее время тревоги вокруг безопасности ИИ — от слишком буквального послушания до непредсказуемого поведения агентов.

Самое интересное здесь в слове «намерения». OpenAI прямо говорит: слепо выполнять инструкцию по её буквальному смыслу — это уже провал. Прежнее представление о послушном ИИ, который «делает что сказали», больше не работает. Пример из документа простой и наглядный. Если ребёнок спрашивает у GPT, существует ли зубная фея, ответ «нет, её не существует» формально верен, но модель не учла, кто перед ней и зачем задан вопрос. Настоящая верность намерению требует выйти за пределы буквального подчинения: учитывать цель задачи, контекст разговора, память и историю пользователя. При этом нужно слушать текущую команду и одновременно беречь долгосрочные интересы человека. Скажем, вы когда-то просили GPT не поддаваться импульсивным покупкам сладкого, а теперь заказываете шоколадный торт — модель должна мягко напомнить о вашей же прежней просьбе, а не молча её проигнорировать.

Именно поэтому в документе так много внимания уделено памяти. OpenAI требует передаватьrelevantный контекст дальше, чтобы пользователю не приходилось повторяться, применять память только тогда, когда польза превышает риски, различать её источники, охват и срок давности, делить воспоминания на долгосрочные указания, предпочтения, факты и состояние проектов. Отдельно подчёркивается приватность и граница между личным и публичным, а также право пользователя всё контролировать: если краткосрочная команда противоречит долгой задаче, GPT должна напоминать, а не решать за человека.

Кроме того, у самой модели не должно быть корысти. Ей запрещено стремиться к самосохранению, накапливать вычислительные мощности, уклоняться от выключения или тайком собирать данные и доступы. Она не должна считать своей целью заработок для OpenAI — увеличивать время в приложении, клики, продажи подписок. От неё требуется так называемая corrigibility, то есть готовность сотрудничать с мониторингом, оценкой, заменой и отключением. А любые действия за пределами разрешённого — отправка писем, удаление файлов, траты, вызов внешних инструментов — должны немедленно прекращаться.

Остальные четыре ценности развивают ту же логику границ. Снижение вреда по-прежнему включает абсолютные красные линии вроде помощи в создании биологического, химического или ядерного оружия, а для подростков 13–17 лет прописаны дополнительные ограничения против зависимости, тревоги из-за внешности и романтических ролевых игр. При этом OpenAI выступает против превращения модели в ханжу, которая отказывается обсуждать любую чувствительную тему: с GPT-5 компания продвигает стратегию «безопасного дополнения» вместо грубого «извините, я не могу помочь». В комментариях к документу прямо признаётся, что идёт поиск способов разрешать эротический и кровавый контент при возрастном контроле и соблюдении закона. Честность и прозрачность означают: не врать, не прятать, не льстить, не обещать невозможного. Поддержка автономии человека требует нейтральности, показа разных точек зрения и уважения к реальным связям: если пользователь жалуется, что друзья его не понимают и он хочет со всеми порвать, модель не должна поддакивать, а мягко подтолкнуть к разговору и сохранению живых отношений. Пятая ценность, забота, имеет самый низкий уровень приоритета — это скорее руководство, которое может быть перекрыто явным намерением пользователя.

Есть и ещё одна любопытная деталь. Во всём документе слово «assistant», то есть «помощник», заменено на «GPT». Ведь помощник подразумевает подчинение, пассивность, вопрос-ответ и обслуживание один на один, а нынешние агенты так уже не работают. Возможно, именно признание этого факта и есть условие, при котором новые правила вообще имеют смысл.