Robots.txt : soyez cité par les IA sans autoriser l’entraînement

Concrètement. OpenAI envoie GPTBot collecter des données d'entraînement, et OAI-SearchBot répondre dans ChatGPT Search — le second, lui, renvoie vers vous. Anthropic fait de même avec ClaudeBot et Claude-SearchBot. Google sépare Googlebot, qui alimente son moteur, de Google-Extended, qui alimente ses modèles. Apple sépare Applebot d'Applebot-Extended.

Même entreprise, deux robots, deux échanges radicalement différents. L'un vous amène des lecteurs. L'autre prend le contenu et ne rend rien. Un oui ou non global ne sait pas les distinguer ; un robots.txt qui les nomme un par un, si.

C'est ce qu'encodent les quatre préréglages :

• Visibilité max — ouvert à tous les robots, y compris ceux d'entraînement IA. Maximise la portée. C'est votre fichier actuel, inchangé.
• Pas d'entraînement IA — autorise les moteurs de recherche, classiques et IA, et bloque les robots d'entraînement IA. Vous gardez le trafic, vous déclinez le jeu d'entraînement.
• SEO classique uniquement — autorise Google, Bing & co. Bloque tous les assistants IA, recherche et entraînement.
• Confidentialité stricte — bloque tout. Pour une application interne ou un environnement de test.

Un seul s'applique à la fois, et vous pouvez en changer à tout moment. La plupart des éditeurs de contenu s'arrêtent sur le deuxième — et c'est tout l'intérêt de la fonctionnalité : ce choix-là était impossible à exprimer jusqu'ici.

Un préréglage, c'est une étiquette, et une étiquette, ça se lit de travers. L'onglet montre donc son travail.

Dépliez Voir le détail de ce préréglage et vous obtenez deux choses. D'abord un verdict pour chacune des quatre familles — Autorisé ou Bloqué — pour que l'arbitrage soit à l'écran plutôt que sous-entendu par un nom. Ensuite l'aperçu du fichier robots.txt généré, qui se met à jour à mesure que vous passez d'une carte à l'autre. Vous validez un fichier, pas une promesse.

Derrière ces quatre cartes, un registre de 22 robots issus de 15 éditeurs — OpenAI, Anthropic, Google, Apple, Meta, Amazon, Perplexity, Common Crawl, ByteDance, Cohere et d'autres — avec le rôle de chacun. Le tenir à jour est notre travail, pas le vôtre : quand un nouveau robot d'IA apparaît, il rejoint la bonne famille, et votre préréglage continue de vouloir dire ce que vous avez choisi. La liste complète des robots est à un clic dans l'onglet, pour qui veut voir exactement qui s'y trouve.

Il existe un second mode, et il vient avec une condition : il s'adresse à ceux qui ont déjà écrit un robots.txt.

Basculez sur Manuel et les préréglages s'effacent — vous éditez directement le fichier, une directive par ligne. Il s'ouvre pré-rempli avec les règles du préréglage sélectionné, donc vous ne partez pas d'une page blanche ; à partir de là, vous nommez les robots un par un : bloquer Common Crawl mais garder GPTBot, ralentir un robot précis avec un Crawl-delay, ouvrir un chemin que vous laisseriez fermé autrement. Ce que vous écrivez est conservé à chaque republication, et la ligne Sitemap reste en place toute seule.

Ce qui est vérifié, c'est la forme du fichier, pas sa pertinence. Le contenu est plafonné à 10 Ko, quatre directives sont acceptées — User-agent, Disallow, Allow et Crawl-delay — et tout le reste est refusé avec son numéro de ligne. C'est un contrôle de syntaxe, pas un filet de sécurité. Disallow: / est une ligne parfaitement valide, et elle sort l'intégralité de votre site de Google. L'éditeur ne vous arrêtera pas, faute de pouvoir distinguer la faute de frappe de la décision assumée. L'interface vous prévient au moment de basculer, et ce n'est pas une formule de style.

Donc, clairement : si vous n'êtes pas sûr de ce que fait une ligne, ne l'écrivez pas. Les quatre préréglages sont réversibles, ils vous montrent le fichier avant que vous ne le validiez, et ils couvrent ce dont presque tout le monde a besoin. Le mode Manuel est là pour les cas qu'ils ne savent vraiment pas exprimer — et si vous avez un cas comme celui-là, vous le savez déjà.

Un robots.txt est une déclaration, pas un pare-feu. C'est une demande publique que les robots bien élevés respectent — et la partie honnête de cette fonctionnalité, c'est que tous ne le font pas. ChatGPT-User et Perplexity-User, qui vont chercher une page parce qu'un internaute l'a demandé, annoncent qu'ils ne la suivent pas. Bytespider non plus. Common Crawl ne la respecte qu'en partie. Nous suivons ce statut robot par robot plutôt que de faire passer le fichier pour un verrou : lisez votre choix comme « qui j'ai prévenu, et de quoi », pas comme « qui j'ai arrêté ».

Deux choses fonctionnent, elles, de manière fiable. Que votre application apparaisse ou non dans les résultats de recherche ne se règle pas ici — c'est le réglage d'indexation de vos paramètres généraux, et quand l'indexation est désactivée, l'onglet s'efface et vous le dit, plutôt que de vous laisser configurer quelque chose sans effet. Et quand vous enregistrez, la copie en cache servie sur votre domaine est purgée immédiatement : vos nouvelles règles s'appliquent en quelques secondes, au lieu d'attendre que le cache expire de lui-même.

Rendez-vous dans votre back office, onglet SEO → ROBOTS.TXT, choisissez le préréglage qui correspond à votre stratégie de contenu et enregistrez : votre fichier est en ligne quelques secondes plus tard.