Валидатор llms.txt прошел 64 теста: а читают ли его боты?

Разработчик, создавший генератор и валидатор llms.txt, решил проверить эту гипотезу эмпирически. Он подготовил 64 тестовых сценария для отладки и параллельно зафиксировал, сколько раз различные ИИ-боты запрашивают файл на реальных сайтах. Результаты оказались неутешительными: большинство ботов игнорируют llms.txt и продолжают обходить страницы традиционным способом. Тем не менее сам валидатор оказался полезным: он помогает проверить корректность разметки, понять структуру файла и оценить его соответствие ожиданиям поисковых систем.

В материале подробно описывается устройство парсера, схема оценки качества и приводится код. Инструмент может пригодиться тем, кто хочет внедрить поддержку llms.txt у себя и убедиться, что файл не содержит ошибок. Хотя массового принятия формата пока не произошло, подобные наработки приближают момент, когда ИИ-боты научатся использовать такие файлы системно.