UCB

UCB — Upper Confidence Bound, верхняя граница доверительного интервала. Это стратегия выбора в условиях неопределённости: есть несколько вариантов с неизвестной выгодой, и о каждом известно лишь частично. UCB не требует всегда выбирать лучший по текущей статистике — нужно периодически пробовать рискованные варианты, но с учётом потенциального выигрыша.

Так решается дилемма «исследование — использование». Если всегда применять проверенное, мы не узнаем о возможных лучших решениях. Если тестировать хаотично — теряем прибыль. UCB даёт формальный критерий: выбирай вариант с наибольшей верхней границей оптимизма.

Интуиция: представьте несколько кафе. У каждого есть средний балл из ваших оценок и неопределённость — чем меньше данных, тем меньше вы уверены в среднем. UCB считает не просто среднее, а оптимистичный предел: среднее плюс поправка на неопределённость. Чем меньше данных, тем больше поправка и тем привлекательнее кафе. Вы идёте туда, где предел максимален. Если ожидания оправдались — среднее растёт, если нет — падает. Так вы сначала пробуете новое, а потом сосредотачиваетесь на лучшем.

Пример — новостная рекомендация. У алгоритма много статей, показы распределяются между ними. UCB оценивает долю кликов и число показов. Малоизвестная статья получает бонус оптимизма и показывается аудитории. При высоких кликах она становится фаворитом, при низких — бонус «сгорает», и система возвращается к проверенным материалам. Баланс достигается без застревания на устаревшем контенте.

Короче, UCB — изящный способ управлять неопределённостью без потери эффективности. Он не требует сложных моделей, работает онлайн и адаптируется к меняющимся условиям. Если сервис «рискнул» показать вам что-то новое — возможно, это UCB.