Плати, если хочешь парсить: Cloudflare придумал бизнес-модель для эпохи ИИ

Владельцы сайтов теперь смогут выставлять цену за каждый «краул» ИИ-ботом — от OpenAI, Anthropic, Google и других. Можно также оставить бесплатный доступ или вовсе заблокировать сканирование. Все операции и расчеты берет на себя Cloudflare, выступая посредником между издателями и ИИ-компаниями.

Что это меняет

Раньше крупные ИИ-модели, включая ChatGPT и Google Gemini, массово парсили сайты без разрешения. Как показал анализ Cloudflare, на 17 000 заходов краулера OpenAI приходился всего один переход на сайт, а у Anthropic — 73 000 к одному. Для сравнения: Google оставляет один переход на 14 заходов. То есть паблишеры отдают данные бесплатно, а трафика не получают. Теперь они могут сами решать — пускать ИИ или нет и за сколько.

Кто участвует

Среди первых сторонников инициативы — TIME, The Atlantic, Condé Nast, AP, Fortune и Adweek. Все они уже по умолчанию блокируют ИИ-ботов в Cloudflare. Новые сайты в системе также автоматически закрыты от парсинга — доступ придется разрешать вручную. Это, по словам компании, должно «вернуть контроль авторам контента».

В долгосрочной перспективе Cloudflare продвигает идею «агентского» интернета — когда пользовательский ИИ (агент) сможет сам покупать доступ к данным сайтов по запросу пользователя. Например, ты просишь ИИ собрать свежие исследования по онкологии — и он, имея бюджет, оплачивает доступ к нужным материалам.

Как это работает

Обе стороны — ИИ-компания и паблишер — должны быть зарегистрированы в Cloudflare. Каждая указывает желаемую ставку за «краул». Cloudflare обрабатывает оплату, переводит деньги владельцу контента и берёт комиссию. Пока всё работает без криптовалют, хотя модель микроплатежей идеально ложится на stablecoins.

Для паблишеров Pay per Crawl может стать новой бизнес-моделью в эпоху ИИ — в отличие от нестабильных рекламных доходов, которые падают вместе с трафиком из поисковиков.

Cloudflare — одна из немногих компаний, которая технически способна реализовать подобный маркетплейс. Но всё зависит от того, согласятся ли на игру по правилам паблишеры — и, главное, ИИ-компании, которые пока получают контент бесплатно.