Configurer le fichier robots.txt et l'accès des robots d'IA

Ce que couvre cette aide en ligne :
Cette aide en ligne explique comment configurer l'accès des robots d'indexation pour les moteurs de recherche et les assistants d'IA sur votre app PWA. Découvrez les 4 préréglages disponibles dans votre back-office, la comparaison entre SEO classique et robots d'IA, la procédure de configuration étape par étape, ainsi que la liste complète des robots pris en charge.
Avant de commencer :

• Assurez-vous que votre app PWA a été publiée au moins une fois sous Publier > PWA > Publier .
• Vérifiez dans Publier > PWA > SEO :: Paramètres généraux que l'option Autoriser les moteurs de recherche à indexer la Progressive Web App est activée.

Résultat attendu :
Votre fichier robots.txt est généré automatiquement avec les directives d'indexation adaptées à vos objectifs de visibilité et à vos préférences de protection de vos contenus pour les modèles d'IA.

GoodBarber vous permet de contrôler précisément comment les moteurs de recherche et les assistants d'IA accèdent à votre Progressive Web App (PWA). Le système classe les requêtes des robots en 4 catégories distinctes :

• Moteurs de recherche : Les moteurs de recherche traditionnels (Google, Bing, etc.) qui indexent votre site pour l'afficher dans les résultats de recherche.
• Réponses des IA : Les assistants d'IA (ChatGPT, Claude, Perplexity etc.) qui citent ou résument le contenu de votre site dans leurs réponses en temps réel.
• Entraînement des IA : Les robots qui collectent vos contenus pour constituer des jeux de données d'entraînement pour les futurs modèles d'IA.
• Lecture à la demande : Accès temporaire lorsqu'un utilisateur demande explicitement à un assistant d'IA d'ouvrir et d'analyser une URL spécifique de votre site.

Pour simplifier la configuration, 4 préréglages sont disponibles en mode Assisté :

 

Préréglage	Moteurs de recherche traditionnels (Google, Bing)	Réponses des IA (ChatGPT, Claude, Perplexity etc.)	Entraînement des IA	Objectif recommandé
Visibilité max	✅ Autorisé	✅ Autorisé	✅ Autorisé	Maximiser la portée sur tous les moteurs de recherche et plateformes d'IA.
Pas d'entraînement IA	✅ Autorisé	✅ Autorisé	🚫 Bloqué	Être cité par les assistants d'IA et recevoir du trafic sans céder vos données d'entraînement.
SEO classique uniquement	✅ Autorisé	🚫 Bloqué	🚫 Bloqué	Préserver le SEO traditionnel Google/Bing tout en demandant aux robots d'IA de ne pas accéder à votre site.
Confidentialité stricte	🚫 Bloqué	🚫 Bloqué	🚫 Bloqué	Demander aux robots de ne pas indexer ni explorer le site (apps en développement, en test ou à usage interne).

Quelle est la différence entre "Visibilité max" et "Pas d'entraînement IA" ?
- Citations d'IA en temps réel (Réponses des IA) : Un assistant d'IA (comme ChatGPT) consulte votre app PWA en direct pour répondre à un utilisateur, en citant votre site et en renvoyant du trafic vers votre app.
- Entraînement des modèles d'IA (Entraînement des IA) : Les robots d'exploration collectent vos contenus pour entraîner leurs futurs modèles d'IA, sans générer de visites directes sur votre app.
Lequel choisir ?

• Choisissez Visibilité max pour une exposition complète sur tous les moteurs de recherche et assistants d'IA.
• Choisissez Pas d'entraînement IA pour bénéficier du trafic des assistants d'IA tout en leur interdisant d'utiliser votre contenu pour entraîner leurs modèles.

Quelle est la différence entre "SEO classique" et "Assistants d'IA" ?
- SEO classique (Google, Bing) : Les utilisateurs recherchent par mots-clés. Le préréglage SEO classique uniquement maintient votre référencement Google 100 % actif et inchangé.
- Assistants d'IA (ChatGPT, Claude, etc.) : Les utilisateurs posent des questions à des IA conversationnelles. Le préréglage SEO classique uniquement bloque ces assistants d'IA pour qu'ils ne puissent ni lire ni citer votre app.

Si votre projet nécessite des règles d'exploration personnalisées ou des directives spécifiques, vous pouvez basculer l'éditeur en mode Manuel :

1. Basculez l'interrupteur en haut à droite sur Manuel.
2. Éditez directement le contenu brut du fichier robots.txt dans le champ texte.
3. Cliquez sur Enregistrer.

Avertissement : Le mode Manuel est réservé aux utilisateurs avancés, développeurs et experts SEO maîtrisant la syntaxe d'un fichier robots.txt. En mode Manuel, la gestion automatique des préréglages GoodBarber est désactivée. Une erreur de syntaxe ou une directive incorrecte peut nuire gravement au référencement de votre app ou la rendre invisible pour les moteurs de recherche. En cas de doute, revenez au mode Assisté, qui garantit une configuration sûre et optimale.

Ci-dessous la liste détaillée des User-Agents identifiés et gérés par les préréglages GoodBarber, classés par fournisseur :

• Google : Googlebot, Google-Extended
• Microsoft : Bingbot
• DuckDuckGo : DuckDuckBot
• Yandex : YandexBot
• Apple : Applebot, Applebot-Extended
• OpenAI : GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic : ClaudeBot, Claude-SearchBot, Claude-User
• Perplexity : PerplexityBot, Perplexity-User
• Common Crawl : CCBot
• ByteDance : Bytespider
• Meta : Meta-ExternalAgent
• Amazon : Amazonbot
• Cohere : cohere-ai
• Diffbot : Diffbot
• Mistral : MistralAI-User