Rubric

Rubric (рубрика) — это заранее сформированный список критериев и описаний уровней качества, по которому оцениваются результаты работы ИИ: тексты, картинки или ответы чат-ботов. Вместо расплывчатого «хорошо или плохо» рубрика задаёт явные правила: что именно считается достоверным, полным, вежливым и как эти свойства различаются по степеням.

Зачем это важно? При обучении языковых моделей с участием человека тысячи ответов должны быть оценены одинаково. Без рубрики разные эксперты судят по своему вкусу, и модель получает противоречивую обратную связь. Рубрика же делает оценивание единообразным и воспроизводимым.

Как работает интуитивно? Представьте проверку школьных сочинений. Если критериев нет, один учитель ценит слог, другой — глубину мысли, третий — грамотность. Рубрика разбивает работу на компоненты (содержание, структура, язык) и для каждого даёт шкалу от «тема не раскрыта» до «глубокое раскрытие». Эксперт лишь выбирает подходящий уровень.

Прикладной пример. Допустим, тренируется чат-бот. Для него создают рубрику с тремя критериями: точность, полнота, вежливость. Каждый критерий имеет описание баллов от 1 до 5. Люди оценивают тысячи ответов бота, а модель учится предсказывать эти оценки и постепенно улучшает свои ответы. Эти данные затем используются для дообучения модели методом обучения с подкреплением.

Вывод: рубрика — простой и мощный способ превратить абстрактное «качество» ИИ в измеримые показатели, понятные и людям, и алгоритмам.