Cloudflare od 15 września domyślnie blokuje roboty mieszane na stronach z reklamami

Od 15 września 2026 roku domyślne ustawienia Cloudflare blokują tak zwane roboty mieszane na wszystkich stronach wyświetlających reklamy. Chodzi o boty, których jedna firma używa równocześnie do klasycznego wyszukiwania i do zadań AI. Firma ogłosiła to z kilkumiesięcznym wyprzedzeniem. Dawny podział na roboty wyszukiwarkowe i treningowe przestał być czytelny dla właścicieli serwisów i to jest główny powód decyzji.

Skoro większość ruchu w internecie nie pochodzi już od ludzi, musimy iść dalej i działać szybciej, żeby powstał trwały ekosystem, mówił współzałożyciel i prezes Cloudflare Matthew Prince.

Mechanizm opiera się na rozdzieleniu intencji. Cohen tłumaczyła w rozmowie z Press Gazette, że gdy firma prowadzi osobne roboty do treningu, do wyszukiwania i do działań agentowych, właściciel strony może zablokować lub wpuścić każdy z nich oddzielnie. Dwumiesięczna przerwa między zapowiedzią a wdrożeniem miała dać czas na dostosowanie się.

Ile tego ruchu jest

Dane o skali pokazują, dlaczego temat wrócił. Według analizy 51Degrees obejmującej ponad 3 mld wejść na strony w dwunastu miesiącach do maja 2026 roku udział sesji rozpoznanych jako żniwiarze AI wzrósł o 62,5 proc., z 8 do 13 proc. wszystkich sesji. Najaktywniejszym robotem był AmazonBot z 4,1 proc. wejść. Meta-ExternalAgent odpowiadał za 2,9 proc., BingBot za 1,35 proc., Anthropic za 0,19 proc., OpenAI za 0,09 proc., Perplexity za 0,04 proc., a Google Gemini za 0,0003 proc. sesji. Cloudflare podawało wcześniej, że roboty agentowe generują około 57,4 proc. ruchu globalnego.

Autorka jednej z analiz zwraca uwagę, że liczby nie sumują się do całości. Google zbiera treści na potrzeby AI tym samym robotem, którego używa do wyszukiwania, więc nie został on w zestawieniu uwzględniony. Jeden robot i dwa zastosowania to oś sporu. Dlatego blokada jest trudniejsza, niż wygląda.

Skala oddziaływania jest duża, bo Cloudflare obsługuje sieciowo około 20 proc. stron na świecie. Z nowych narzędzi korzystają już „Financial Times”, „The Atlantic”, Ziff Davis, Condé Nast i Associated Press, a w zamkniętej becie testowany jest mechanizm pay-per-crawl, czyli opłata za samo wejście robota. Wydawcy raportują, że blokada przyspiesza rozmowy licencyjne. Brak dostępu okazał się silniejszym argumentem niż apele o dobrowolne opłaty.

Koszt dla wydawców jest podwójny. Ruch żniwiarzy zużywa pasmo, a odpowiedzi AI odbierają wejścia, które mogłyby zarabiać na reklamie. Stąd równoległy rozwój mechanizmów rozliczeniowych i paneli widoczności. Blokada bez możliwości negocjacji szybko stałaby się po prostu niewidzialnością.