Cloudflare запустила рынок контента для ИИ и сайтов

Cloudflare запустила сервис Pay per Crawl, который создает рынок контента для авторов и ИИ-компаний.  Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. https://t.co/PUrlSs636k— Cloudflare (@Cloudflare) July 1, 2025 В рамках эксперимента владельцы сайтов могут разрешать или запрещать ИИ-сканерам просматривать их ресурс, а также устанавливать фиксированный размер оплаты за каждый обход страницы. Дополнительно они могут открыть бесплатный анализ страниц или закрыть его полностью. Инструмент позволяет видеть, с какой целью краулеры просматривают сайт: для обучения ИИ; для предоставления ответов через ИИ-поисковик; для других целей. Страница, которую видят пользователи Pay per Crawl. Данные: Cloudflare. Cloudflare предоставляет сервисы по защите, ускорению и стабильной работе веб-сайтов и интернет-приложений. На поставщика облачной инфраструктуры приходится 20% трафика в интернете.  Новый сервис — большая идея, которая может предложить потенциальную бизнес-модель в эпоху искусственного интеллекта. Запуск происходит в то время, когда издатели новостей сталкиваются с экзистенциальными вопросами касательно способов достучаться до читателей, трафик Google Search падает, а пользователи выбирают поиск через чат-ботов.  Некоторые компании вроде The New York Times подали судебные иски против технологических компаний за то, что те без разрешения и платы обучают свои ИИ-модели на новостных статьях. Другие заключили многолетние сделки для лицензирования контента.  Cloudflare стремится создать более долговечную систему, в которой издатели смогут устанавливать цены на своих условиях. Компания также заявила, что теперь все новые веб-сайты, созданные с помощью Cloudflare, по умолчанию будут блокировать ИИ-краулеры. Если владельцы хотят допустить автоматизированных сборщиков информации к своим ресурсам, они должны предоставить разрешение. Это даст каждому новому домену «контроль по умолчанию», утверждает фирма.  Для тестирования Pay per Crawl ИИ-компаниям и издателям необходимо иметь учетные записи Cloudflare. Обе стороны в своих аккаунтах могут установить тарифы, по которым они согласны покупать и продавать контент.  На данный момент криптовалюты не задействованы в новом решении, хотя некоторые эксперты считают, что данный класс активов идеально подходит для подобного взаимодействия.  Напомним, в июне федеральный судья Уильям Алсуп постановил, что компания Anthropic имела право обучать модели на опубликованных книгах без разрешения авторов.