Accuracy

Accuracy — это метрика, которая показывает, какую долю ответов модель дала верно. Проще говоря, если из ста вопросов алгоритм правильно ответил на девяносто, его точность — 90%. Казалось бы, что может быть проще? Однако за этой цифрой скрывается главный вопрос любого машинного обучения: действительно ли мы измеряем то, что нам нужно?

Важность accuracy трудно переоценить, ведь это первый индикатор здоровья модели. Но именно здесь кроется ловушка. Представьте, что вы тестируете систему распознавания редкого заболевания, которое встречается у одного человека из тысячи. Если модель просто скажет «здоров» всем подряд, её accuracy составит 99,9% — блестящий результат, не правда ли? При этом она не выявит ни одного больного. Поэтому accuracy всегда рассматривают в паре с другими метриками, особенно когда классы в данных сильно несбалансированны.

На интуитивном уровне accuracy работает как строгий учитель, который ставит плюсик за каждый правильный ответ и минус за ошибку. В конце он делит число плюсиков на общее количество вопросов. Такой подход отличен, когда классы примерно равны. Если же один случай встречается редко, то «учитель» запоминает самый частый ответ — и это превращает метрику в опасный самообман. Хорошая история о мошенничестве: банк обучает алгоритм выявлять подозрительные транзакции. На каждый миллион обычных операций приходится лишь пара афер. Если accuracy 99,999% вас успокаивает, вспомните, что при таком раскладе модель могла просто пропустить все аферы, так и не заметив их. Зато «точность» будет безупречной.

Вывод прост: accuracy — это удобный, но очень поверхностный измеритель. Его стоит использовать, когда вы понимаете структуру данных и помните о цене ошибок. Иначе велик риск принять математически идеальную модель за реально полезную — и пропустить то самое редкое, но критически важное событие.