глоссарий
Groundedness
Привязка к источнику, или фактическая обоснованность (groundedness), — это свойство ответа нейросети опираться на реальные данные, а не на выдуманные детали. Термин важен, потому что языковые модели часто галлюцинируют — уверенно заявляют то, чего не было. Когда ИИ работает с документами, медициной или финансами, каждая ошибка стоит денег или здоровья. Представьте экскурсовода, который обязан вести рассказ строго по проверенным материалам музея. Если он начнёт приукрашивать, посетители уйдут с ложными сведениями. Нейросеть без заземления похожа на такого горе-экскурсовода: она складывает правдоподобные фразы из обрывков знаний, и отделить истину от вымысла невозможно. В техническом плане заземлённую модель обычно учат сопоставлять каждый тезис с конкретным фрагментом исходного текста и проверять соответствие перед выдачей. Часто для этого используют поиск по базе документов: модель находит нужный отрывок, читает его и формулирует ответ по нему, а не по памяти. Например, банковский чат-бот, заземлённый на договоре клиента, при ответе о комиссии обязан сослаться на пункт документа, а не на свои обобщения о «типичных условиях». Если в договоре есть расчёт по каждому виду операций — бот воспроизведёт именно его, а в случае неоднозначности честно скажет, что данных недостаточно, и направит к оператору. Вывод прост: заземлённость — это мост между свободной генерацией текста и достоверностью, без которого доверие к ИИ остаётся хрупким.
Поделиться