Память агента без вектор-БД: 363 markdown-файла вместо эмбеддингов

Markdown — это простой текстовый формат, который легко читать, редактировать и версионировать. Такие файлы не требуют отдельной инфраструктуры: их можно хранить в репозитории и индексировать стандартными средствами. Автор подчеркивает, что отказ от векторной БД не был случайным. Он трижды поднимал вопрос о внедрении векторного хранилища, каждый раз с конкретным кандидатом, и трижды закрывал его, придя к выводу, что это лишнее.

RAG (Retrieval-Augmented Generation) сегодня стал ответом по умолчанию на любую задачу, связанную с памятью агентов. Однако, по мнению разработчика, такая технология имеет смысл лишь при больших объемах данных. Точка окупаемости векторного хранилища лежит в районе десяти тысяч документов, а не нескольких сотен. Пока вы ниже этой отметки, вы платите за инфраструктуру, модель эмбеддингов и постоянную синхронизацию индекса, не получая ничего, чего не дал бы обычный markdown. К тому же индексы в векторных базах склонны к рассинхронизации, что добавляет проблем.

В своей статье автор разбирает двухслойную схему памяти и показывает, почему семантический поиск в ней работает без единого эмбеддинга. Он также заранее называет порог, на котором эта схема сломается. Такой подход идет вразрез с мейнстримом, где RAG внедряют при любом удобном случае. Тем не менее, опыт автора — это полезный пример для разработчиков, которые задумываются о том, когда сложная инфраструктура действительно оправдана, а когда достаточно простых решений.