Entity embeddings

Entity embeddings превращают категориальные данные (слова, товары, ID) в числовые векторы так, что похожие категории оказываются рядом в многомерном пространстве. Как на карте городов: «Москва» и «Петербург» близко, «Москва» и «кофе» — далеко. Вместо случайных номеров или разреженного one-hot кодирования embedding сжимает смысл в компактное плотное представление (обычно 50–300 чисел) и автоматически учит семантику в процессе решения задачи.

Интуитивно: если описывать фрукты парой чисел — сладость и сочность, яблоко получит одни координаты, лимон — другие. При большем числе измерений модель сама находит скрытые признаки. Изначально числа случайны, но ошибка обучения подсказывает, как сдвигать их, чтобы похожие объекты сближались. В итоге пространство организуется: направления соответствуют смысловым осям, а векторы можно складывать — например, «король» минус «мужчина» плюс «женщина» даёт «королеву».

Яркий пример — рекомендации в магазине. Для каждого товара строят embedding. Клиент купил «Наручные часы» — система находит ближайшие векторы: «Ремешок», «Шкатулка». То же работает и с пользователями: их ID встраивают в общее пространство, и модель предсказывает, что понравится человеку, даже если он раньше не смотрел на такой товар.

Итог: entity embeddings — мост между дискретными символами и непрерывной математикой нейросетей. Они экономят память, улучшают качество и позволяют моделям обобщать знания. Без них невозможно представить современный ИИ — от поиска до машинного перевода.