Discount factor

Дисконт-фактор — число от 0 до 1, показывающее, насколько агент в обучении с подкреплением ценит будущие награды по сравнению с немедленными. Если γ=0.9, награда через один шаг умножается на 0.9, через два — на 0.81 и так далее. По сути, это «ставка дисконтирования» будущего.

Без него задача математически некорректна: сумма бесконечных наград часто расходится, и стратегии невозможно сравнить. Дисконт-фактор делает сумму конечной и определяет «характер» агента — насколько он дальновиден и готов терпеть временные неудобства ради большой выгоды.

Интуиция — как звонкая монета в кармане: сто рублей сегодня лучше, чем через год, ведь их можно потратить или вложить. Агент тоже считает раннюю награду ценнее. Чем меньше γ, тем более «близоруким» он становится, сосредотачиваясь на сиюминутной выгоде. Чем ближе к единице, тем терпеливее и охотнее инвестирует в долгосрочные цели, жертвуя малым по пути.

Представьте робота-пылесоса в поисках зарядной станции. При малом γ=0.5 он выберет немедленную награду — соберёт пыль под колёсами. При γ=0.99 он проедет через всю комнату, потратит время, но в итоге достигнет станции и получит большую награду за зарядку. Правильно подобранный дисконт-фактор заставляет балансировать между быстрым малым успехом и долгим путём к большой цели.

Итак, дисконт-фактор — простой и мощный регулятор дальновидности. Он превращает бесконечный поток наград в управляемую величину, определяет готовность ждать и напрямую влияет на выученную стратегию. Без него обучение с подкреплением не имело бы смысла — как путешественник без карты, который не знает, куда идти и стоит ли вообще.