Score-based model

Score-based model — это класс генеративных моделей в машинном обучении, который учится восстанавливать данные из шума, оценивая направление наиболее вероятного изменения. Проще говоря, такая модель не пытается сразу нарисовать картинку или написать текст, а вычисляет «градиент правдоподобия» — вектор, указывающий, как нужно подправить зашумлённый объект, чтобы он стал больше похож на настоящий.

Важность термина связана с тем, что score-based модели лежат в основе многих современных генераторов изображений и аудио, включая диффузионные архитектуры. Они позволяют создавать новые образцы даже в очень сложных пространствах, где классические методы вроде GAN бывают нестабильными. Знание этого термина помогает понимать, как работают популярные инструменты синтеза контента.

Интуитивно процесс можно представить так: изначально у нас есть чистое изображение, которое мы постепенно разрушаем, добавляя случайный шум. Модель обучается на парах «зашумлённое — исходное» и запоминает, в какую сторону нужно сдвинуть шумное состояние, чтобы сделать его чище. Во время генерации мы стартуем с полного хаоса — кучи случайных пикселей — и шаг за шагом применяем изученные поправки, пока не получим осмысленную картинку. Это похоже на то, как скульптор из бесформенной глыбы убирает лишнее, но вместо резца у модели — математическая оценка правдоподобия.

Пример: сервис реставрации старых фотографий может использовать score-based модель. На вход подаётся снимок с царапинами и зернистостью. Модель оценивает, как исходное чистое изображение могло выглядеть до порчи, и восстанавливает лицо человека, убирая дефекты и шум, при этом не домысливая лишних деталей.

Итог: score-based model — это гибкий способ генерации данных через последовательное «отшумливание», который объединяет в себе математическую строгость и практическую мощь. Он стал стандартом в задачах создания контента и восстановления информации.