OpenAI, Google и Microsoft договорились о едином запрете обучения ИИ на сайтах

Новый механизм предложил технический руководитель Anthropic Кевин Келли — он направил соответствующее предложение в Инженерный совет интернета (IETF), организацию, которая занимается развитием и стандартизацией протоколов сети. Стандарт будет встроен в хорошо знакомый всем файл robots.txt — тот самый текстовый документ в корне сайта, который с незапамятных времён сообщает поисковым роботам, какие страницы можно индексировать, а какие трогать не стоит. Тот же файл традиционно использовался и для указаний веб-архивам, а в последние годы — и для определения отношений сайта с системами обучения нейросетей.

Проблема, которую призван решить новый стандарт, накапливалась давно. Сегодня владелец сайта, желающий ограничить использование своего контента для тренировки моделей, вынужден прописывать запрет отдельно для каждой компании: у OpenAI свои правила, у Google свои, у Anthropic свои, и так далее. Это превращается в бесконечную бюрократию, в которой издатели, особенно небольшие, просто теряются. При этом многочисленные ИИ-краулеры продолжают методично обходить сайты, выкачивая статьи, изображения и другой контент и отправляя его в обучающие датасеты. Издатели оказались меж двух огней: с одной стороны — растущие нагрузки на инфраструктуру, с другой — размывание авторского контента, который затем конкурирует с самими сайтами в виде ответов чат-ботов.

Смысл новой инициативы в том, чтобы дать издателям единый рычаг. Один раз указав свои предпочтения в robots.txt по новому стандарту, сайт автоматически проинформирует всех присоединившихся к соглашению операторов ИИ о том, можно ли использовать его материалы для обучения. Никаких индивидуальных кабинетов, писем и переговоров с каждой компанией — всё в одном месте и в привычном формате.

Anthropic, судя по всему, станет первой ласточкой: компания уже заявила о готовности поддерживать стандарт. OpenAI планирует внедрить его в течение ближайших месяцев. Google и Microsoft, по имеющимся данным, намерены присоединиться к механизму в следующем году. Поддержал идею и представитель Meta Энди Стоун — он высказался за создание такого универсального сигнала, хотя конкретных сроков реализации от компании пока не прозвучало.

Пока неясно, насколько строго новый стандарт будет соблюдаться на практике и что помешает недобросовестным разработчикам просто игнорировать указания издателей — ведь robots.txt исторически носит рекомендательный характер, а не является техническим запретом. Тем не менее сам факт того, что крупнейшие игроки рынка ИИ сели за один стол и согласились говорить с издателями на одном языке, выглядит заметным сдвигом. Если стандарт приживётся, у владельцев сайтов впервые появится простой и единый способ сказать «нет» обучению нейросетей на их контенте — без необходимости разбираться в правилах каждой отдельной компании.