Спросил нейросети о зубах в Москве: 4941 ответ и странная механика

Главный вывод эксперимента: в 91,7 процента случаев нейросеть называла конкретную клинику, но упоминание бренда встречалось лишь в 8,7 процента ответов. Остальное приходилось на страницы-агрегаторы и каталоги. Более того, одна из клиник попала в ответы 1694 раза, но ни разу не была названа по имени. То есть ассистенты ссылаются на сторонние ресурсы, собирающие данные о врачах и ценах, а не на сами медицинские учреждения. Это наводит на мысль о скрытой рекламной механике или простой невнимательности алгоритмов.

Отдельно автор отмечает, что половина протестированных моделей вообще не обращается к живым интернет-запросам. Они генерируют ответы на основе обучающих данных, поэтому могут воспроизводить устаревшую или недостоверную информацию. В таких случаях список клиник оказывается плодом воображения нейросети, что может ввести пользователя в заблуждение. Особенно опасно это в медицине, где ошибка в адресе или телефоне способна стоить пациенту времени и нервов.

Автор предупреждает, что его методика не претендует на идеальность: некоторые ответы могли быть неверно интерпретированы, а сам набор запросов — недостаточно репрезентативен для всей Москвы. Тем не менее, исследование показывает, что растущая популярность нейросетей как советчиков по бытовым вопросам ставит под сомнение их надежность. Пользователям стоит перепроверять любую информацию, полученную от ИИ, особенно когда речь идет о здоровье и деньгах. А разработчикам — задуматься о том, почему алгоритмы предпочитают скрывать названия клиник и полагаются на сомнительные источники.