Model-free RL

Термин важен, потому что он разделяет все алгоритмы обучения с подкреплением на два лагеря. Методы с моделью пытаются создать «карту мира» и планировать, а model-free методы работают там, где модель построить невозможно или слишком сложно. Это делает их универсальными и применимыми к задачам, где среда меняется или плохо изучена.

Чтобы понять, как это работает, представьте, что вы освоили новый смартфон, тыкая пальцами в экран и наблюдая, что произойдёт. Вы не знаете, как устроена операционная система, но через несколько ошибок запоминаете: чтобы открыть приложение, нужно коснуться иконки. Агент model-free RL делает то же самое: пробует действия, получает положительную или отрицательную обратную связь и корректирует свою политику — то есть правило выбора действий.

Наиболее наглядный пример — обучение робота манипулятору. Вместо того чтобы программировать каждое движение, инженеры позволяют алгоритму тысячи раз поднимать и опускать руку, пока он не поймёт, как эффективнее взять кубик. Награда — успешный захват, штраф — промах. Через некоторое время робот выполняет задачу без внешнего вмешательства.

Таким образом, model-free RL — это простой, но очень мощный принцип: «делай, смотри на результат, запоминай». Он требует много данных и времени, но позволяет искусственному интеллекту справляться с миром, полным неопределённости, — от игр до управления автомобилем.