Cloudflare запустила сервис Pay per Crawl, который создает рынок контента для авторов и ИИ-компаний.
Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. https://t.co/PUrlSs636k— Cloudflare (@Cloudflare) July 1, 2025
В рамках эксперимента владельцы сайтов могут разрешать или запрещать ИИ-сканерам просматривать их ресурс, а также устанавливать фиксированный размер оплаты за каждый обход страницы.
Дополнительно они могут открыть бесплатный анализ страниц или закрыть его полностью.
Инструмент позволяет видеть, с какой целью краулеры просматривают сайт:
для обучения ИИ;
для предоставления ответов через ИИ-поисковик;
для других целей.
Страница, которую видят пользователи Pay per Crawl. Данные: Cloudflare.
Cloudflare предоставляет сервисы по защите, ускорению и стабильной работе веб-сайтов и интернет-приложений. На поставщика облачной инфраструктуры приходится 20% трафика в интернете.
Новый сервис — большая идея, которая может предложить потенциальную бизнес-модель в эпоху искусственного интеллекта. Запуск происходит в то время, когда издатели новостей сталкиваются с экзистенциальными вопросами касательно способов достучаться до читателей, трафик Google Search падает, а пользователи выбирают поиск через чат-ботов.
Некоторые компании вроде The New York Times подали судебные иски против технологических компаний за то, что те без разрешения и платы обучают свои ИИ-модели на новостных статьях. Другие заключили многолетние сделки для лицензирования контента.
Cloudflare стремится создать более долговечную систему, в которой издатели смогут устанавливать цены на своих условиях.
Компания также заявила, что теперь все новые веб-сайты, созданные с помощью Cloudflare, по умолчанию будут блокировать ИИ-краулеры. Если владельцы хотят допустить автоматизированных сборщиков информации к своим ресурсам, они должны предоставить разрешение. Это даст каждому новому домену «контроль по умолчанию», утверждает фирма.
Для тестирования Pay per Crawl ИИ-компаниям и издателям необходимо иметь учетные записи Cloudflare. Обе стороны в своих аккаунтах могут установить тарифы, по которым они согласны покупать и продавать контент.
На данный момент криптовалюты не задействованы в новом решении, хотя некоторые эксперты считают, что данный класс активов идеально подходит для подобного взаимодействия.
Напомним, в июне федеральный судья Уильям Алсуп постановил, что компания Anthropic имела право обучать модели на опубликованных книгах без разрешения авторов.
