BYOL

BYOL — метод самообучения нейросетей, извлекающий полезные признаки из данных без ручной разметки. Название переводится как «подними себя за шнурки»: система учится на собственных предсказаниях. Разметка данных — самое дорогое звено в ИИ. Появившись в 2020 году, BYOL показал, что можно достигать высокого качества представлений без размеченных примеров, открыв путь к работе с гигантскими неразмеченными коллекциями изображений, видео и текстов.

Как работает: объект преобразуется в две случайные версии — разные обрезки, повороты, цветовые искажения. Первую видит онлайн-сеть, вторую — целевая. Онлайн-сеть предсказывает латентное представление, вычисленное целевой. Отрицательные примеры не нужны: целевая сеть обновляется плавно, как скользящее среднее весов онлайн-сети, поэтому модель не сваливается в тривиальное решение, когда все признаки становятся одинаковыми. В итоге выучиваются устойчивые признаки, инвариантные к шуму и искажениям.

Пример из медицины: BYOL предобучают на тысячах неразмеченных рентгеновских снимков грудной клетки, чтобы модель поняла структуру лёгких. Затем на нескольких сотнях размеченных снимков дообучают обнаруживать пневмонию. Точность сравнима с обучением на полностью размеченных данных, но разметки нужно в разы меньше.

Итог: BYOL — элегантный подход к самообучению, извлекающий пользу из сырых данных и снижающий зависимость от дорогой экспертной разметки. Это шаг к практическому ИИ в специализированных областях.