Bloquer les robots d'IA ne protège pas vos données. Voici ce que ça vous coûte.

Depuis deux ou trois ans, un conseil circule chez les dirigeants de PME : bloquez les robots d'intelligence artificielle sur votre site, pour ne pas nourrir des modèles à votre place. L'intention est saine. Sa mise en œuvre, le plus souvent, rate sa cible.

Bloquer les robots d'IA en bloc ne protège pas vos données, et vous retire au passage des réponses que ces mêmes IA donnent à vos futurs clients. Le vrai geste utile est de distinguer trois familles de robots qui ne font pas le même métier : les aspirateurs qui ne citent personne, à bloquer, les robots de citation des moteurs de réponse, à autoriser, et les robots d'entraînement des acteurs qui citent, à autoriser aussi.

Voici pourquoi ce réflexe se retourne contre vous, quelles familles de robots distinguer, et ce que nous faisons sur nos propres sites.

Le réflexe de tout bloquer se trompe de cible

Le raisonnement de départ est simple. Une IA s'entraîne sur du texte, votre site est du texte, donc bloquer l'accès protégerait votre travail. Sauf qu'un site public existe pour être lu, et qu'entre nourrir l'entraînement d'un modèle et apparaître dans une réponse d'assistant, il y a un monde.

Le résultat de ce réflexe est visible dans les relevés. Des analyses publiées en 2026 montrent qu'une large majorité des sites qui bloquent un robot d'entraînement bloquent aussi, souvent sans le savoir, un robot dont le seul rôle est de les citer. Ils croient protéger leurs données, ils se rendent invisibles dans les réponses des assistants. Le geste protecteur produit alors l'effet inverse de celui recherché, sur le terrain qui compte le plus pour une PME : être trouvé.

Trois familles de robots qu'on confond

La confusion vient de ce qu'on parle des robots d'IA comme d'une seule chose. Ils font trois métiers différents, et les grands acteurs les ont séparés exprès, pour qu'un éditeur puisse dire oui à l'un et non à l'autre.

Prenons OpenAI, le cas le mieux documenté. Non. GPTBot sert à l'entraînement des modèles, tandis que la recherche de ChatGPT s'appuie sur un autre robot, OAI-SearchBot, et sur ChatGPT-User pour les récupérations en direct. Ces réglages sont indépendants : vous pouvez refuser l'entraînement et rester présent dans les réponses de ChatGPT.

Anthropic a adopté le même découpage en février 2026, avec ClaudeBot pour l'entraînement, Claude-SearchBot pour l'indexation de recherche et Claude-User pour la récupération à la demande. Au passage, les anciens noms comme anthropic-ai et Claude-Web ont été abandonnés, donc une politique écrite il y a deux ans vise aujourd'hui des robots qui n'existent plus. Perplexity fonctionne sur deux niveaux, PerplexityBot pour l'index et Perplexity-User pour la récupération. Mistral expose MistralAI-User pour les requêtes de son assistant. La règle se lit d'un coup d'œil : entraîner un modèle et citer une source sont deux métiers séparés.

Ce que bloquer le mauvais robot vous coûte

Ce que vous perdez en bloquant trop large, ce n'est pas de la confidentialité, c'est de la présence. Un modèle qui n'a jamais lu votre site ignore que vous existez, et quand un prospect demande à un assistant qui peut lui construire une plateforme sur mesure à Toulouse, votre nom n'a aucune raison d'apparaître. C'est l'autre versant de la visibilité de votre site pour les bonnes personnes, cette fois du côté des machines qui répondent à ces personnes.

Deux effets se distinguent, et ils ne se valent pas. Bloquer un robot de citation, OAI-SearchBot ou Claude-SearchBot, vous retire directement des réponses de recherche de ces assistants, avec un lien de moins vers vous. Bloquer un robot d'entraînement agit plus lentement : le modèle ne vous apprend pas, donc il ne vous cite pas de lui-même dans les conversations où aucun robot de recherche n'intervient. Le premier effet est immédiat, le second est diffus et durable. Les deux jouent contre une entreprise qui veut être connue.

Nous ne prétendons pas chiffrer ce que cela rapporte. Personne ne le peut sérieusement aujourd'hui, et un article qui vous promet un pourcentage de trafic gagné invente ce chiffre. Ce que nous savons, c'est le sens : une porte fermée ne rapporte jamais de visite.

Où vos données se protègent, et ce n'est pas là

Non. Le fichier robots.txt sert à déclarer ce que vous autorisez, et les robots sérieux le respectent, mais il ne bloque rien par lui-même. Les récupérations déclenchées par un utilisateur ne le suivent d'ailleurs pas toujours. La protection réelle de vos données se joue sur les services que votre site confie à des tiers, pas sur ce fichier.

Il y a même une subtilité que peu d'articles mentionnent. Les robots déclenchés par un utilisateur, comme ChatGPT-User ou Perplexity-User, ne suivent pas toujours robots.txt, parce qu'ils agissent au nom d'une personne qui a demandé la page, pas d'un robot qui explore de lui-même. Votre fichier exprime votre politique, il ne la fait pas appliquer partout.

La vraie protection des données se joue sur les services que votre site confie à des tiers sans y penser : un formulaire hébergé dehors, une carte qui ouvre une connexion vers un serveur lointain, un chatbot qui envoie les conversations de vos prospects on ne sait où. C'est le sujet de notre article sur où vont les conversations de votre chatbot, et de celui sur ce qu'une carte Google envoie au chargement d'une page. Le fichier robots.txt ne joue aucun rôle dans ces cas.

Notre politique de crawl, ligne par ligne

Voici ce que nous faisons sur nos propres sites, avec le raisonnement derrière chaque ligne. Nous ne livrons pas le fichier en bloc à recopier, parce que ce qui compte n'est pas le fichier, c'est de savoir pourquoi chaque robot y figure. Celui que vous copieriez aujourd'hui serait faux dans douze mois, les noms de robots changeant tous les trimestres.

Nous autorisons les robots de citation sans hésiter : OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User et MistralAI-User. Ce sont eux qui nous font apparaître dans les réponses, avec un lien. Les bloquer reviendrait à se retirer du seul endroit où l'on voulait être vu.

Nous autorisons aussi l'entraînement des acteurs qui, par ailleurs, citent leurs sources : GPTBot pour OpenAI, ClaudeBot pour Anthropic. Le pari est assumé. Un modèle qui nous a lus peut nous nommer dans une conversation où aucun robot de recherche n'interviendra jamais, et cette mention ne s'achète pas.

Nous bloquons en revanche les aspirateurs qui ne renvoient rien. La ligne la plus discutée est celle de CCBot, le robot de Common Crawl, et elle mérite son explication parce qu'à première vue elle semble contredire ce qui précède. Common Crawl constitue un corpus mutualisé qui a nourri à peu près tous les grands modèles, Mistral compris. Mais c'est un corpus, pas un moteur : il ne cite personne, ne renvoie aucun visiteur, et ses données se revendent. Ce corpus est de surcroît devenu un terrain juridiquement contesté en 2026, plusieurs groupes de presse en réclamant le retrait de leurs contenus. Le bloquer n'est donc pas une contradiction, c'est la même règle appliquée jusqu'au bout : nous accueillons l'entraînement de ceux qui citent, nous refusons l'aspirateur mutualisé qui ne cite personne. Nous bloquons dans la même logique les outils SEO tiers, qui analysent le site sans nous apporter le moindre visiteur.

Un dernier détail dit tout sur la nature du fichier. Notre robots.txt porte un commentaire en tête : ne jamais y lister un dossier technique, parce que ce fichier est public. Écrire une ligne qui interdit l'accès à un back-office reviendrait à en afficher le chemin à quiconque ouvre le fichier, et les curieux mal intentionnés le consultent en premier. C'est le rappel le plus concret que ce fichier déclare une politique de visite, il ne garde aucun secret.

Ce que robots.txt ne fait pas

Le fichier règle qui a le droit d'entrer. Il ne dit rien de ce qu'on trouve une fois entré, et c'est là que se joue la seconde moitié du sujet, la plus importante et la moins visible.

Être autorisé ne suffit pas à être compris. Un assistant qui vous cite doit d'abord pouvoir identifier qui vous êtes sans ambiguïté, ce qui passe par des données structurées cohérentes et une identité d'entreprise stable d'une page à l'autre. Un site accessible mais illisible pour une machine reste absent des réponses. La cause n'est alors pas un blocage, c'est un défaut de lisibilité.

Une convention émergente tente d'aider les modèles à s'y retrouver, le fichier llms.txt, une sorte de sommaire à leur intention. Nous en publions un. Mais nous le présentons pour ce qu'il est : un pari peu coûteux sur un usage qui n'est pas encore établi. À ce jour, aucun éditeur de modèle n'a confirmé qu'il change quoi que ce soit à la façon dont il vous lit. Nous le déployons parce que le coût est nul et le principe sain, pas parce que nous aurions mesuré un effet. Vous promettre le contraire serait malhonnête.

Un angle, enfin, que peu de sites français exploitent. Notre assistant conversationnel fonctionne sur un modèle Mistral, avec une inférence en Europe, et nous autorisons explicitement MistralAI-User. Être présent et lisible pour un moteur de réponse européen, et pas seulement pour les acteurs américains, prolonge le reste de notre approche sur les données.

Ce que vous pouvez vérifier aujourd'hui

Trois vérifications tiennent en quelques minutes, sans outil particulier.

Ouvrez d'abord votre propre robots.txt, à l'adresse votre-domaine.fr/robots.txt. Si vous y voyez des lignes qui bloquent GPTBot, ClaudeBot ou CCBot héritées d'une consigne de 2023, demandez-vous ce que vous cherchiez vraiment : vous retirer de l'entraînement, ou protéger des données, auquel cas ce fichier ne sert à rien pour ça.

Vérifiez ensuite qu'aucune ligne ne bloque par accident un robot de citation, OAI-SearchBot, Claude-SearchBot ou PerplexityBot. C'est l'erreur la plus fréquente, et la plus coûteuse.

Assurez-vous enfin, si un pare-feu ou un service de protection se trouve devant votre site, qu'il ne renvoie pas une page de défi à ces robots. Un robot qui reçoit un mur ne peut pas vous lire, quelle que soit la politesse de votre robots.txt. Savoir quoi autoriser précisément dépend de vos objectifs, et c'est une conversation que nous avons volontiers, projet par projet.