99% трафика моего веб-сайта составляют боты
По словам автора, 99% трафика его ресурса составляют боты, а не люди. За один день к сайту обратились 3,6 миллиона запросов китайских ботов. Cloudflare сообщает, что краулеры Anthropic совершают примерно три тысячи операций на одного приведенного посетителя, однако в PatronView этот показатель составил 35 тысяч к одному. Два дня назад был заблокирован поисковый ИИ-краулер Amazon, который считывал по 117 тысяч страниц в день, но не направил ни одного реального пользователя. CAPTCHA тоже не спасает: ее решают лишь 0,24% ботов, они даже не пытаются.
Поскольку при написании кода с помощью ИИ-агентов никто не учит защите от ботов, автор решил поделиться знаниями. В конце он перечислил все используемые им правила файрволла, чтобы другие могли воспользоваться его опытом.
Источник: habr.com
Поделиться