OpenAI приближается к цели: ИИ-агенты овладеют компьютером как люди

Руководитель команды по компьютерным операциям Ари Вайнштейн заявил: как только ChatGPT начнёт выполнять действия в программах быстрее человека, это кардинально изменит привычное взаимодействие с техникой. Для этого в обучение моделей на всех этапах добавляли данные, связанные с компьютерными операциями. По словам исследователя Колумбийского университета Чжоу Юй, модель получала покадровые скриншоты экрана во время базовой подготовки, а затем примеры правильных действий для конкретных задач. Часть данных собрана с помощью демонстраций реальных пользователей, но такие данные дороги и сложны в обработке. Кроме того, OpenAI применяет обучение с подкреплением, поощряя модель за успешно выполненные операции.

Изменился и способ восприятия экрана: раньше ChatGPT приходилось многократно снимать изображение и анализировать пиксели, теперь система напрямую считывает структурную информацию веб-страницы — от DOM-структуры до ссылок и элементов доступности. Скриншоты по-прежнему используются, но в сочетании с новым подходом Codex может самостоятельно тестировать код, находить и исправлять ошибки. Технология особенно ценна для сайтов и сервисов, рассчитанных на ручной ввод, — от систем записи до корпоративных программ. Пользователи уже автоматизируют ввод данных, соблюдение регламентов и планирование.

Пока компьютерные агенты работают медленнее, чем ожидают обычные пользователи, и с трудом справляются с массовыми рассылками или просмотром соцсетей. Но разработчики надеются, что со временем операционные возможности достигнут уровня ИИ-программирования, когда агенту быстрее поручить задачу, чем делать её самому. OpenAI сохраняет осторожность: гендиректор Сэм Альтман предупреждал о серьёзных рисках. Компания изучает политику подтверждения действий и рекомендует выдавать агентам минимальные права. «Можно сделать продукт на сто процентов безопасным, но бесполезным, или очень удобным, но опасным. Наша задача — найти баланс», — говорит Джеймс Сунь.