GPTBot, ClaudeBot, PerplexityBot : faut-il autoriser ou bloquer les crawlers IA

Votre développeur vous propose d'ajouter trois lignes dans un fichier pour « bloquer les IA ». Votre hébergeur vous montre une case à cocher qui fait la même chose en un clic. Les deux vous vendent une décision unique, alors qu'il y en a trois, et qu'elles n'ont ni le même coût ni le même bénéfice. Voici ce que chaque robot fait réellement, ce que son blocage retire, et le seuil précis à partir duquel bloquer devient rationnel.

En bref :

• Il n'y a plus un robot par éditeur mais neuf agents documentés à arbitrer : quatre chez OpenAI, trois chez Anthropic, deux chez Perplexity, plus le jeton Google-Extended chez Google.
• Bloquer l'entraînement ne vous retire d'aucune réponse. OpenAI écrit que ses réglages sont indépendants et qu'on peut autoriser la recherche tout en refusant l'entraînement.
• Bloquer la recherche vous retire des réponses, immédiatement et sans alerte. OpenAI le formule ainsi : un site exclu de son robot de recherche n'apparaît pas dans les réponses de recherche de ChatGPT.
• Les robots déclenchés par un utilisateur ne sont pas couverts par le même contrat. Perplexity écrit que son agent utilisateur ignore en général les règles de robots.txt.
• Le seuil de bascule est celui que Cloudflare a lui-même retenu pour ses réglages par défaut du 15 septembre 2026 : la page affiche-t-elle de la publicité. Si la réponse est non, bloquer un robot de recherche vous coûte sans rien vous protéger.

Bloquer les crawlers IA n'est pas une décision, c'en est trois

La confusion vient d'un raccourci de vocabulaire : on dit « les robots IA » comme s'il s'agissait d'une seule famille, alors que les éditeurs eux-mêmes en distinguent trois.

Cloudflare, qui filtre une part considérable du trafic web mondial, a fini par figer ces trois catégories dans ses réglages. Elles portent des noms simples. Search désigne les robots qui collectent ou indexent votre contenu pour répondre plus tard à des questions à son sujet. Agent désigne l'activité automatisée qui agit en temps réel pour le compte d'une personne. Training désigne les robots qui prennent votre contenu pour entraîner ou affiner un modèle.

Trois familles, trois économies différentes. Un robot de recherche vous prend une page et peut vous renvoyer un visiteur. Un robot agent vous prend une page parce qu'un humain a posé une question à laquelle votre page répond, ici et maintenant. Un robot d'entraînement vous prend une page et ne vous renverra jamais rien : il alimente un modèle qui saura répondre sans vous citer.

Un blocage global traite ces trois cas de la même façon. C'est le problème. Vous fermez la porte au robot qui vous amène des clients pour être sûr de la fermer à celui qui vous en prive.

Le tableau des agents, éditeur par éditeur

Voici l'état de la documentation officielle en août 2026. Chaque ligne est un réglage séparé, avec sa conséquence propre.

Dix lignes. Aucune n'est interchangeable avec une autre. Et sur ces dix, une seule protège quelque chose sans rien coûter en visibilité immédiate : la famille entraînement.

Le mécanisme qui relie ces agents à une citation dans une réponse est détaillé dans notre article sur la façon dont les IA choisissent les sources qu'elles citent. Ici, on ne parle que de la porte d'entrée.

Bloquer l'entraînement ne vous retire d'aucune réponse

C'est le point que le SERP rate le plus souvent, et il est écrit noir sur blanc dans la documentation d'OpenAI.

OpenAI documente que chaque réglage est indépendant des autres : un webmaster peut autoriser OAI-SearchBot pour apparaître dans les résultats de recherche tout en refusant GPTBot pour signaler que le contenu récupéré ne doit pas servir à entraîner ses modèles de fondation. Deux robots, deux décisions, aucune interférence. L'éditeur ajoute même que si vous autorisez les deux, il pourra n'utiliser qu'un seul passage pour les deux usages, afin d'éviter d'explorer deux fois la même page.

Anthropic tient le même langage. Sa page d'aide explique que restreindre ClaudeBot signale que vos contenus futurs doivent être exclus des jeux d'entraînement, sans jamais évoquer d'effet sur la recherche, qui relève de Claude-SearchBot.

Il reste un coût, réel mais différé, et il faut l'assumer honnêtement : un modèle qui n'a jamais lu vos pages ne « connaît » pas votre entreprise de mémoire. Quand un prospect demande à un assistant de lui citer trois installateurs dans sa province sans que l'outil aille chercher sur le web, la réponse sort de ce que le modèle a mémorisé pendant son entraînement. Bloquer l'entraînement, c'est renoncer à cette mémoire pour les modèles à venir, tout en gardant la recherche en direct.

Pour une PME wallonne, cet arbitrage penche presque toujours du même côté. Vos pages de prix, de zones d'intervention et de délais n'ont pas de valeur de revente comme corpus. Elles ont une valeur de prospection. Les mettre hors des jeux d'entraînement ne rapporte rien de concret, et vous prive d'une mémoire de marque qui se construit sur plusieurs générations de modèles.

Bloquer la recherche vous retire de toutes les réponses

Ici, le coût n'est ni différé ni théorique. Il est immédiat, et les trois éditeurs le décrivent dans les mêmes termes.

OpenAI écrit que les sites exclus de OAI-SearchBot ne seront pas montrés dans les réponses de recherche de ChatGPT, même s'ils peuvent encore apparaître comme liens de navigation. Anthropic écrit que désactiver Claude-SearchBot empêche son système d'indexer votre contenu, ce qui peut réduire votre visibilité et la justesse des réponses. Perplexity écrit que pour garantir l'apparition de votre site dans ses résultats, il recommande d'autoriser PerplexityBot dans votre robots.txt et d'accepter les requêtes venant de ses plages d'adresses publiées.

Trois formulations, une seule conséquence : le robot de recherche est le seul canal par lequel votre entreprise entre dans une réponse générée. Le fermer, c'est sortir du jeu.

Un détail opérationnel mérite d'être connu, parce qu'il change la façon de tester une correction. OpenAI indique qu'il faut environ vingt-quatre heures après une modification de robots.txt pour que ses systèmes en tiennent compte du côté recherche. Perplexity annonce le même ordre de grandeur, jusqu'à vingt-quatre heures. C'est court, et cela signifie qu'une erreur de configuration se répare en un jour, pas en un trimestre. À l'inverse, une erreur non détectée vous coûte tous les jours pendant lesquels personne ne l'a vue.

Le blocage involontaire est d'ailleurs plus fréquent que le blocage assumé. Il vient rarement du robots.txt, et souvent du pare-feu applicatif. Perplexity consacre une section entière de sa documentation à ce cas et détaille la marche à suivre pour Cloudflare et pour AWS. Les autres causes d'exclusion silencieuse sont recensées dans notre article sur les raisons pour lesquelles un site est invisible pour les assistants IA.

Le robot que votre robots.txt n'arrête pas

Un fichier robots.txt est une préférence, pas une serrure. Sur la famille agent, ce n'est même plus une préférence respectée.

Perplexity documente que Perplexity-User récupère une page parce qu'un utilisateur l'a demandé, et que pour cette raison ce récupérateur ignore en général les règles de robots.txt. Ce n'est pas un contournement caché, c'est écrit dans la page officielle. OpenAI dit la même chose autrement : ChatGPT-User n'explore pas le web de façon automatique, et comme ces actions sont déclenchées par un utilisateur, les règles de robots.txt peuvent ne pas s'appliquer.

La logique se défend. Quand un humain colle votre URL dans un assistant et demande un résumé, l'outil se comporte comme un navigateur mandaté par cette personne, pas comme un aspirateur de contenu. Le refuser reviendrait à refuser un visiteur.

Reste que si vous voulez vraiment fermer cette porte, il faut descendre d'un étage, au pare-feu ou aux plages d'adresses. Et c'est là que se trouve le piège le mieux documenté du sujet. Anthropic prévient que bloquer les adresses IP depuis lesquelles ses robots opèrent peut ne pas fonctionner correctement ni garantir durablement une exclusion, parce que ce blocage empêche justement son système de lire votre robots.txt. Vous fermez la porte au facteur qui venait chercher vos instructions. Le résultat est le pire des deux mondes : votre préférence n'est plus lisible, et rien ne garantit qu'elle soit appliquée.

Cloudflare le dit dans les mêmes termes dans sa documentation sur le robots.txt managé : le respect du fichier est volontaire, il exprime vos préférences mais n'empêche pas techniquement l'accès. L'épisode d'août 2025, quand Cloudflare a publiquement accusé Perplexity d'utiliser des robots furtifs non déclarés sortant de ses plages officielles, a rappelé que la conformité repose sur la bonne volonté de l'opérateur.

Google-Extended : le levier qui ne fait pas ce qu'on lui prête

C'est l'exemple type d'une carte technique périmée qui circule encore.

Le 28 septembre 2023, Google annonce Google-Extended, présenté comme un contrôle permettant aux éditeurs de gérer si leur site aide à améliorer Bard et les API génératives de Vertex AI. À l'époque, l'IA générative de Google vit à côté de la recherche. Bloquer ce jeton revient donc à sortir des produits IA de Google. La consigne était juste.

Elle ne l'est plus. La documentation actuelle de Google précise que Google-Extended pilote l'usage de votre contenu pour entraîner les modèles Gemini des applications Gemini et de l'API Vertex AI, ainsi que le grounding dans ces produits, et que ce jeton n'a aucun effet sur l'inclusion d'un site dans Google Search, ni comme signal de classement. Détail révélateur : ce jeton n'a même pas de user-agent HTTP propre, l'exploration continue de se faire avec les agents Google existants.

Où sont passées les réponses IA de Google, alors ? Dans la recherche. Google écrit que l'IA est intégrée à la recherche et fait partie de son fonctionnement, et que ce sont donc les directives robots.txt destinées à Googlebot qui pilotent l'accès. Pour limiter ce qui est affiché à partir de vos pages, les leviers sont nosnippet, data-nosnippet, max-snippet et noindex.

Traduction pour un dirigeant : en 2026, sortir des AI Overviews et d'AI Mode signifie sortir de Google Search. Il n'existe plus de porte séparée. Google-Extended reste utile, mais il ne couvre que l'entraînement et le grounding de Gemini, pas la recherche.

Le seuil de bascule : à partir de quand bloquer devient rationnel

Le seuil, c'est le moment où une page vue chez vous rapporte plus qu'une citation ailleurs. Cloudflare l'a traduit en un critère observable, et l'a mis en production.

Sa documentation annonce qu'au 15 septembre 2026, les nouveaux domaines recevront des réglages par défaut mis à jour : les robots classés Training ou Agent seront bloqués sur les pages qui affichent de la publicité, et les robots Search resteront autorisés. Les robots à double usage, qui combinent recherche et entraînement, basculeront du côté bloqué dans toutes les configurations de blocage de l'entraînement, y compris l'ancienne option. Avant cette date, tous les clients peuvent refuser ces nouveaux défauts.

Lisez le critère retenu : la page affiche-t-elle de la publicité. C'est la question qui sépare les deux économies. Une page monétisée à l'affichage perd de l'argent chaque fois qu'un robot la lit sans envoyer de visiteur. Une page qui vend une prestation ne perd rien, elle gagne une chance d'être citée.

Le coût de l'exploration, lui, est mesuré. Cloudflare a publié le 1er juillet 2025 les rapports entre exploration et renvoi de trafic observés du 19 au 26 juin 2025 : la plateforme d'Anthropic effectuait près de 71 000 requêtes de page HTML pour un seul renvoi, quand Mistral envoyait dix fois plus de renvois que de requêtes. Sur la même période, Google explorait environ quatorze fois pour un renvoi. Cloudflare accompagne ce chiffre d'une réserve qu'il faut reprendre : le trafic venu des applications natives ne porte pas d'en-tête d'origine, ces rapports sont donc probablement surestimés, sans qu'on sache de combien.

Ces ordres de grandeur ne sont pas un argument de blocage en soi. Ils deviennent un argument le jour où le volume vous coûte de l'argent. Sur le réseau Vercel en décembre 2024, GPTBot cumulait 569 millions de récupérations mensuelles et ClaudeBot 370 millions, avec 34,82 % des requêtes de ChatGPT tombant sur des pages 404 contre 8,22 % pour Googlebot. Sur un hébergement facturé à la consommation, une exploration inefficace se lit sur la facture.

Le seuil de bascule tient donc en trois conditions, et il suffit qu'une seule soit remplie :

1. Vos pages sont monétisées à l'affichage. C'est le critère que Cloudflare a retenu. Publicité, régie, contenu payant : chaque lecture par un robot est une lecture perdue.
2. Votre contenu est le produit que vous vendez. Base documentaire, méthode, catalogue de prix négociés, formation en ligne. Ce que le modèle absorbe, vous ne le vendrez plus.
3. L'exploration vous coûte en infrastructure de façon mesurable. Hébergement facturé à la requête ou à la bande passante, avec un volume de robots visible dans vos journaux.

En dessous de ces trois conditions, et c'est le cas de la quasi-totalité des PME wallonnes, votre site est un commercial, pas un produit. Il ne facture rien à la page vue. Bloquer un robot de recherche revient alors à retirer une enseigne de la rue pour empêcher les passants de la photographier.

Autre lecture du seuil : combien votre chiffre d'affaires dépend-il d'une page vue sur votre site ? Si la réponse est zéro, aucune ligne de la famille recherche ne doit être fermée, et la seule décision réellement ouverte porte sur l'entraînement.

La décision est peut-être déjà prise chez votre hébergeur

Statbel compte 9 entreprises belges sur 10 équipées d'un site. La quasi-totalité n'a jamais ouvert son robots.txt.

Ce n'est pas une négligence propre à la Belgique. Cloudflare mesurait en juillet 2025 que seuls 37 % environ des 10 000 premiers domaines du web disposaient d'un fichier robots.txt. Sur les 63 % restants, la décision n'est pas absente : elle est prise ailleurs.

Depuis le 1er juillet 2025, Cloudflare bloque par défaut les robots d'entraînement pour les nouveaux domaines. Son robots.txt managé pose un signal explicite qui autorise la recherche, refuse l'entraînement et cadre l'usage en référence. Les domaines de la formule gratuite sans fichier propre se voient servir la Content Signals Policy à la place.

Autrement dit : si votre site est derrière un intermédiaire de ce type, une politique s'applique déjà à vos pages, et elle a été écrite par quelqu'un d'autre. La question utile n'est donc pas « faut-il bloquer », mais « qu'est-ce qui est bloqué aujourd'hui sans que je le sache ».

Trois vérifications suffisent à le savoir, et elles ne demandent aucune compétence technique :

1. Ouvrir l'adresse de votre robots.txt dans un navigateur et lire les agents refusés, ligne par ligne.
2. Demander à votre hébergeur ou à votre prestataire quelle option de blocage des robots IA est active sur votre compte, et depuis quand.
3. Faire regarder vos journaux de serveur pour voir quels agents ont été refusés le mois dernier, et lesquels ne sont jamais passés.

C'est le point de départ de toute prestation sérieuse sur le sujet, et c'est par là que commence notre accompagnement en référencement IA.

Ce qui va changer dans les douze prochains mois

Le sujet est en train de sortir du bricolage, et deux mouvements méritent d'être suivis.

Le premier est la normalisation. Un groupe de travail de l'IETF, baptisé AI Preferences, rédige un vocabulaire commun pour exprimer les préférences d'usage IA. Le document de travail en est à sa sixième version, datée du 27 avril 2026, avec un jalon de norme proposée fixé à août 2026. L'enjeu est simple : aujourd'hui, chaque éditeur invente ses propres noms d'agents et ses propres catégories. Demain, une même préférence pourra s'exprimer une fois et valoir pour tous.

Le second est la monétisation. Plutôt que le choix binaire entre laisser passer et fermer, Cloudflare a ouvert une troisième voie avec pay per crawl, qui permet de fixer un prix par zone et renvoie aux robots un code de paiement requis tant qu'ils n'ont pas présenté d'intention de paiement. Pour un éditeur de presse, c'est une piste de revenu. Pour une PME qui vend des châssis ou de la comptabilité, c'est surtout un signal : la valeur d'une page pour un robot commence à s'écrire en euros, ce qui rendra le calcul du seuil plus facile qu'aujourd'hui.

Aucun de ces deux mouvements ne change la recommandation actuelle. Ils la rendront simplement plus facile à appliquer, et plus difficile à vendre en boîte noire.

Ce qu'on ferait à votre place

Pour une PME qui vend une prestation et dont le site sert à générer des demandes, la position par défaut est claire : laisser passer les robots de recherche et les robots agents, décider l'entraînement séparément, et vérifier ce que l'hébergeur a déjà décidé. Les trois familles sont pilotables une par une, les éditeurs le documentent, et rien n'oblige à traiter les neuf agents comme un bloc.

Le vrai risque, pour un dirigeant, n'est pas de trop autoriser. C'est de payer une prestation de blocage qui coupe le seul canal par lequel un prospect pouvait tomber sur son nom, sans que personne ne s'en aperçoive avant six mois. La question à poser à votre prestataire tient en une ligne : quel agent exactement, pour quelle finalité, et qu'est-ce que je perds. S'il répond « les robots IA », il n'a pas lu les documentations dont il vous vend la maîtrise.

Le cadre complet, du fonctionnement d'une citation jusqu'à ce qui se mesure vraiment, est posé dans notre guide du référencement IA pour les PME.

Vous voulez savoir ce qui est ouvert et ce qui est fermé sur votre site aujourd'hui, et ce que ça vous coûte ? Parlons-en trente minutes. On repart avec l'état réel de vos accès, pas avec une liste de lignes à copier.

FAQ

Q: Bloquer GPTBot me fait-il disparaître de ChatGPT ?

A: Non. OpenAI documente que ses réglages sont indépendants : on peut autoriser OAI-SearchBot, qui pilote l'apparition dans les réponses de recherche, tout en refusant GPTBot, qui alimente l'entraînement. C'est OAI-SearchBot qu'il ne faut pas fermer. Un site exclu de ce robot n'apparaît pas dans les réponses de recherche de ChatGPT, même s'il peut encore ressortir comme lien de navigation.

Q: Combien de temps met un changement de robots.txt à produire son effet ?

A: Environ vingt-quatre heures chez OpenAI pour la partie recherche, jusqu'à vingt-quatre heures chez Perplexity. C'est l'un des rares leviers de visibilité IA dont l'effet se mesure en jours. En revanche, une erreur de configuration jamais détectée vous coûte tous les jours où personne ne l'a vue, et rien ne vous en avertit.

Q: Peut-on empêcher un assistant IA de lire une page à la demande d'un utilisateur ?

A: Pas par robots.txt. Perplexity écrit que son agent utilisateur ignore en général ce fichier, OpenAI précise que les règles peuvent ne pas s'appliquer aux actions déclenchées par une personne. Il faut passer par le pare-feu. Attention : Anthropic prévient que bloquer ses adresses IP empêche aussi la lecture de votre robots.txt, donc de vos préférences.

Q: Google-Extended protège-t-il mon contenu des réponses IA de Google ?

A: Non, plus depuis que l'IA est intégrée à la recherche. La documentation de Google indique que Google-Extended couvre l'entraînement et le grounding de Gemini, et n'a aucun effet sur l'inclusion dans Google Search. L'accès aux AI Overviews et à AI Mode se pilote par les directives destinées à Googlebot, et l'affichage par nosnippet, data-nosnippet, max-snippet ou noindex.

Q: Mon hébergeur bloque-t-il déjà des robots IA sans me le dire ?

A: C'est probable si vous passez par un grand intermédiaire. Cloudflare bloque par défaut les robots d'entraînement depuis le 1er juillet 2025, et annonce de nouveaux défauts au 15 septembre 2026 pour les nouveaux domaines. Cloudflare mesurait par ailleurs que seuls 37 % environ des 10 000 premiers domaines ont un robots.txt propre. Vos journaux de serveur donnent la réponse exacte.