Сервис защиты сайтов Cloudflare запустил инструмент для борьбы с ботами

Google, OpenAI и Apple позволяют блокировать ботов через специальный файл, но не все компании соблюдают эти правила: многие намеренно обходят их, меняют свои алгоритмы, чтобы избежать обнаружения.

Чтобы решить эту проблему, в Cloudflare проанализировали трафик краулеров и разработали автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.

Кроме того, специалисты сервиса создали специальную форму, позволяющую сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.

Фото на обложке: Sharaf Maksumov / Shutterstock