Cloudflare bloque par défaut les robots mixtes sur les pages publicitaires dès le 15 septembre

Dès le 15 septembre 2026, les réglages par défaut de Cloudflare bloquent les robots dits mixtes sur toutes les pages affichant de la publicité. Ces robots sont utilisés par une même entreprise pour la recherche classique et les tâches d'IA. L'annonce a été faite plusieurs mois à l'avance. Cloudflare justifie cette décision par le fait que la distinction entre robots de recherche et robots d'entraînement n'est plus claire pour les propriétaires de sites.

« Puisque la majorité du trafic internet ne vient plus des humains, nous devons aller plus loin et agir plus vite pour qu'un écosystème durable voie le jour », a déclaré Matthew Prince, cofondateur et PDG de Cloudflare.

Le mécanisme repose sur la séparation des intentions. Cohen a expliqué à Press Gazette que si une entreprise fait tourner des robots distincts pour l'entraînement, la recherche et les actions agentiques, le propriétaire du site peut bloquer ou autoriser chacun d'eux séparément. Le délai de deux mois entre l'annonce et le déploiement devait permettre aux acteurs concernés de s'adapter.

L'ampleur de ce trafic

Les données montrent pourquoi le sujet revient. Selon une analyse de 51Degrees portant sur plus de 3 milliards de visites sur douze mois jusqu'en mai 2026, la part des sessions identifiées comme des moissonneurs d'IA a augmenté de 62,5 pour cent. Elle est passée de 8 à 13 pour cent de l'ensemble des sessions. Le robot le plus actif était AmazonBot avec 4,1 pour cent des visites. Meta-ExternalAgent représentait 2,9 pour cent, BingBot 1,35 pour cent, Anthropic 0,19 pour cent, OpenAI 0,09 pour cent, Perplexity 0,04 pour cent et Google Gemini 0,0003 pour cent. Cloudflare indiquait auparavant que les robots agentiques génèrent environ 57,4 pour cent du trafic mondial.

L'autrice de l'une de ces analyses note que les chiffres ne totalisent pas l'ensemble. Google utilise le même robot pour collecter des contenus destinés à l'IA et pour la recherche. Il n'a donc pas été pris en compte dans le décompte. C'est précisément ce cas, un seul robot pour deux usages, qui est au cœur du litige et qui rend le « blocage » plus difficile qu'il n'y paraît.

L'impact est large, car Cloudflare gère environ 20 pour cent des sites dans le monde. Le « Financial Times », « The Atlantic », Ziff Davis, Condé Nast et Associated Press utilisent déjà les nouveaux outils. Un mécanisme de pay-per-crawl, c'est-à-dire un paiement pour la simple entrée d'un robot, est testé en bêta fermée. Les éditeurs rapportent que le blocage accélère les négociations de licence : l'absence d'accès s'est révélée un argument plus fort que les appels à des paiements volontaires.

Le coût est double pour les éditeurs. Le trafic des moissonneurs consomme de la bande passante, et les réponses d'IA enlèvent des visites qui pourraient rapporter de la publicité. D'où le développement parallèle de mécanismes de facturation et de tableaux de visibilité : un blocage sans possibilité de négociation deviendrait vite une simple invisibilité.