Product quantization

Важно для систем с миллиардами объектов: поиск изображений, рекомендации, большие языковые модели. PQ сжимает данные и позволяет искать ближайших соседей прямо в сжатом виде, без распаковки.

Интуиция: описать яблоко по трём группам — цвет, вкус, размер. Для каждой группы — 16 типичных вариантов. Любое яблоко превращается в «7-3-11». Короткий код сохраняет суть, сравнение идёт по номерам.

Пример: поиск по фото. Вектор из 256 чисел. Миллион фото напрямую — около 1 ГБ. PQ делит вектор на 8 частей, кодирует каждую байтом — 8 байт на фото. Миллион фотографий занимает 8 МБ, поиск — миллисекунды.

Итог: PQ — инструмент баланса между точностью и ресурсами. Это не просто сжатие, а взгляд на данные как на набор типичных паттернов. Для практика ИИ он обязателен при масштабировании на реальные объёмы.