## Cloudflare: Нова Ера Контролю над Веб-Краулерами заради ШІ 
Сервіс Cloudflare оголошує про значні зміни у своїй політиці щодо вебкраулерів (автоматизованих програм, що сканують мережу для збору інформації). Відтепер компанія активніше захищатиме інтереси власників сайтів, обмежуючи використання їхнього контенту для навчання моделей штучного інтелекту. Це стосуватиметься краулерів, які одночасно індексують сайти для пошукових систем та збирають дані для ШІ.
Згідно з повідомленням Engadget, ці нововведення набудуть чинності вже з вересня поточного року, а мета Cloudflare – повернути контроль за використанням веб-контенту його законним власникам.
Що передбачають нові правила?
Раніше Cloudflare вже надавала можливість власникам сайтів забороняти збір даних для чатботів зі штучним інтелектом. Проте, тепер цей підхід стає стандартною опцією для всіх нових клієнтів та для нових сайтів, доданих існуючими користувачами.
Починаючи з 15 вересня 2026 року, всі нові клієнти Cloudflare, а також нові сайти від чинних користувачів, автоматично отримають налаштування, які дозволятимуть індексацію контенту для пошукових систем, але водночас блокуватимуть використання сторінок із рекламними матеріалами для навчання ШІ-моделей та роботи відповідних агентів.
Також під приціл потраплять так звані “змішані” вебкраулери, які не дають власникам сайтів змоги гнучко керувати тим, як саме їхній контент використовується для потреб штучного інтелекту.
Навіть користувачі безкоштовних тарифів будуть автоматично переведені на ці нові налаштування, якщо не висловлять своє бажання відмовитися від них до вступу нових правил у силу.
Меттью Прінс, співзасновник та СЕО Cloudflare, наголосив, що в умовах, коли переважна більшість інтернет-трафіку вже генерується не людьми, а машинами, компанія мусить діяти рішуче для побудови сталого цифрового екосистеми. Нові інструменти покликані стимулювати розробників змішаних ботів до чіткого розмежування функцій традиційного пошуку та процесів навчання моделей.
Запуск “Pay Per Use”: нова модель монетизації
В рамках цих оновлень, Cloudflare також перезапускає функцію “Pay Per Crawl”, яку вперше представили у 2025 році. Тоді ця функція дозволяла зняти блокування з ШІ-ботів лише за умови плати за скрапінг даних.
Оновлений інструмент отримав назву “Pay Per Use”. Тепер виплати власникам сайтів нараховуватимуться не за сам факт сканування сторінки, а за використання їхнього контенту в реальних відповідях ШІ-чатботів.
Як зазначає видання TechCrunch, нова політика Cloudflare може мати опосередкований вплив на Google. Річ у тім, що Google має доступ до приблизно вдвічі більшого обсягу інформації, ніж багато інших компаній, що працюють зі штучним інтелектом.
Бот компанії, Googlebot, одночасно індексує сторінки для пошукової видачі та збирає дані для навчання власної моделі Gemini та інших ШІ-функцій. Хоча Google дозволяє сайтам відключити окремий краулер Google-Extended (щоб дані не використовувалися для навчання моделей), власники контенту не мають можливості погодитися на відображення в результатах AI Mode без того, щоб їхній контент не використовувався для навчання ШІ.
Нова політика Cloudflare покликана змусити компанії, подібні до Google, переглянути таку практику.
Нагадаємо, що нещодавно Cloudflare оголосила про скорочення понад 1100 співробітників по всьому світу, що становить приблизно п’яту частину її штату. Це рішення пов’язане з переходом компанії на операційну модель, орієнтовану на штучний інтелект (AI-first).
Порада від Шефа:
Щоб зберегти максимальну цінність вашого контенту, завжди уважно вивчайте політику використання даних сервісів, якими користуєтеся. Якщо є можливість, надавайте перевагу платформам, які пропонують чіткі механізми контролю над використанням вашого контенту, особливо для цілей ШІ. Це допоможе вам уникнути несанкціонованого збору даних та зберегти контроль над тим, як ваш контент представлений у цифровому світі.
Дізнатися більше на: ain.ua