Toxicity rate

Показатель токсичности (toxicity rate) — метрика, измеряющая долю оскорбительных или агрессивных ответов ИИ. Если из 100 ответов 10 признаны ядовитыми, показатель — 10%. Учитываются не только прямые оскорбления, но и скрытая предвзятость, сарказм, угрозы.

Метрика критична: ИИ заменяет людей в поддержке, обучении, терапии. Один токсичный ответ разрушает доверие, наносит вред, вызывает скандалы. Токсичность часто незаметна — например, предвзятость к имени или полу. Поэтому оценку доверяют модели-детектору, обученной распознавать вредные высказывания.

Работает это так: каждая реплика ИИ проверяется аудитором-алгоритмом. Если доля пометок «ядовито» выше порога, модель отправляют на дообучение. Детектор обучен на тысячах примеров агрессии, включая иронию и пассивную агрессию.

Пример: чат-бот техподдержки на грубость пользователя ответил «Похоже, это вы тупица...». Показатель составил 3,2% — 32 токсичных ответа из 1000. Команда добавила в обучение конфликтные диалоги и подавила агрессивные паттерны; показатель упал до 0,4%.

Итог: toxicity rate — показатель базовой безопасности, а не репутации. Его нужно отслеживать и стремиться к нулю, иначе ИИ становится источником стресса и исков. К счастью, токсичность контролируема — главное включить метрику в обязательные проверки.