Self-play

Этот термин важен, потому что он позволил ИИ достичь сверхчеловеческих результатов в играх с чёткими правилами, от шахмат до покера, а затем и в задачах управления и биологии. Самообучение без подсказок человека особенно ценно для областей, где накопить большой набор примеров трудно или дорого.

Представьте ребёнка, который учится играть в теннис, играя миллион раз против своей тени на стене. Сначала он бьёт случайно, но видит результат: мяч улетел вправо — попробую иначе. Каждая ошибка становится уроком, а каждая удачная подача — ориентиром. Со временем тень становится всё более сложным соперником, и ребёнок вынужден изобретать новые приёмы, чтобы её обыграть. Так и ИИ: агент действует, получает обратную связь от собственного действия и корректирует поведение. Победы и поражения одинаково важны — они создают кривую опыта, которая ведёт к мастерству.

Самый известный пример — AlphaGo, программа для игры в го. Вместо изучения партий людей она сыграла миллионы игр с самой собой, открыв стратегии, которые не использовались человечеством веками. В результате AlphaGo обыграла чемпиона мира не грубой силой, а «интуицией», основанной на колоссальном самообучении. Позже её преемник AlphaZero таким же методом освоил шахматы и сёги за несколько часов.

Коротко: self-play превращает ИИ в самодостаточного ученика, который выходит за пределы человеческого опыта. Это мощный инструмент для сред с предсказуемыми правилами, но его нужно сочетать с данными из реального мира, чтобы не зациклиться на виртуальных иллюзиях.