Distant supervision

В науке и бизнесе часто возникает задача обучить нейросеть извлекать из текстов нужные факты, например, связи между болезнями и лекарствами. Проблема в том, что классический «обучение с учителем» требует огромных массивов вручную размеченных примеров, а это медленно и дорого. Distant supervision, или дистанционное наблюдение, — это хитрый приём, который позволяет автоматически создавать такие обучающие наборы, почти не привлекая человека.

Идея проста: мы берём готовую базу знаний, где уже хранятся верные факты, и механически «пришиваем» их к текстам. Например, если в базе написано, что аспирин взаимодействует с варфарином, наш алгоритм ищет все статьи, где оба слова встречаются рядом, и автоматически считает такое предложение положительным примером. Уровень шума при этом велик: рядом могут просто упоминаться два разных пациента. Но для старта это неважно — такое «шумное» обучение задаёт грубое направление, а дальше модель доучивается на чистых данных или с помощью специальных фильтров.

Конкретный пример: в медицине дистанционное наблюдение помогает строить системы, которые мониторят научные публикации и предупреждают врачей о побочных эффектах новых препаратов. Исследователи берут базу известных взаимодействий, находят в текстах тысячи упоминаний этих пар, обучают языковую модель, а затем она уже сама находит неизвестные связи в новых статьях. Без этого метода пришлось бы вручную размечать каждый абзац.

Короче говоря, дистанционное наблюдение — это способ быстро прополоть огород с помощью экскаватора, а не тяпки. Оно не идеально — даёт много мусора, но с ним процесс создания обучающих данных ускоряется в десятки раз. В современном ИИ это один из ключевых приёмов, позволяющих использовать гигантские объёмы «сырого» текста для тренировки умных систем в условиях вечной нехватки размеченных вручную данных.