Спросили три ИИ про мастера в Иркутске: один назвал местных, второй — Одессу и Киев

Три популярные ИИ-модели на один и тот же запрос о мастере в Иркутске выдали совершенно разные списки источников. Причём разница проявилась не только между компаниями-разработчиками, но и между разными версиями одного поискового движка. Автор эксперимента в прошлый раз показал, что три бота дают дословно одинаковые ссылки, потому что веб-поиск у них выполняет один общий плагин. Читатели справедливо указали, что стенд собран на устаревших версиях, и попросили перемерить на свежих.

Когда автор обновил модели, картина радикально изменилась: общий корпус источников рассыпался, пересечение между Gemini и двумя другими чат-ботами упало до 0,02. Теперь списки ссылок почти не совпадали. Однако главный сюрприз ждал дальше. Оказалось, что от поколения движка зависит не только состав источников, но и то, видит ли система указанный город. На запрос про Иркутск актуальная Gemini вернула восемь местных сайтов из тринадцати, а вот предыдущая версия того же поиска не нашла ни одного иркутского ресурса из сорока двух. Вместо этого она предложила Одессу и Киев.

Этот результат заставляет усомниться в объективности любых быстрых сравнительных тестов ИИ. Один и тот же вопрос, заданный через разные версии практически одного сервиса, приводит к диаметрально противоположным ответам. Причём воспроизвести эксперимент не так просто, как кажется: в замере есть ловушка с редиректом, на которой споткнётся любой повторяющий замер. Автор подробно объясняет, как она работает, какие цифры получаются по двум городам и в каком месте эта метрика врёт. Материал пригодится всем, кто измеряет качество поисковой выдачи ИИ.