Первая модель Ilya: SSI делает ставку на непрерывное обучение

Похоже, тайна вокруг нового проекта Ильи Суцкевера (Ilya Sutskever) начинает приоткрываться. Пользователь X под ником «Три клубники» сообщил, что компания Safe Superintelligence (SSI), основанная бывшим главным научным сотрудником OpenAI, разрабатывает небольшую модель на основе подхода TTT (Test-Time Training, тестирование во время решения задач). По словам информатора, модель обучают на специально подобранных данных «учиться учиться», а в процессе решения задачи она частично обновляет собственные веса. Даже при скромном размере такая система способна конкурировать с моделями, обученными на гораздо больших объёмах данных. Более того, текущая версия почти готова, а следующую планируют увеличить в десять раз. Сообщается, что впервые её могут показать уже в августе, правда, позже появились и опровержения.

Косвенных подтверждений несколько. Ещё в прошлом году Ilya говорил, что человеческий интеллект основан на постоянном дообучении, и что «AGI» и «предобучение» увели индустрию в сторону. Он сравнивал будущий суперинтеллект с любознательным юношей, который учится прямо в процессе работы. В конце июля NVIDIA объявила о долгосрочном сотрудничестве с SSI, инвестировала в компанию и пообещала предоставить её вычислительную мощность примерно в десять раз больше. В заявлении подчёркивалось, что Ilya два года втайне вёл новое исследовательское направление, которое теперь решено ускорить.

Сам TTT — не совсем новая идея. Вместо того чтобы просто расширять контекст, модель превращает полученные данные в обучающий материал, изменяя свои внутренние параметры. Это принципиально отличается от таких техник, как Context Engineering, которые лишь временно снабжают модель дополнительной информацией. Главная опасность такого подхода в том, что модель может усвоить нежелательное поведение, как это случилось с чат-ботом Tay от Microsoft. Однако, по словам инсайдера, Ilya уже решил проблему безопасности.

Пока нет официальных подтверждений, но само появление слуха вызвало большой ажиотаж: слишком многие ждут от Ilya нового слова в области ИИ. Возможно, его самая знаменитая способность — оказываться на правильной стороне технологического перехода раньше других. Если слухи верны, SSI готовит не очередного гиганта, а модель, которая меняет себя во время ответа. Осталось дождаться августа.