Guide · Crawl IA
robots.txt & robots IA : ouvrir la porte aux moteurs IA
Si votre site bloque les robots d'IA, vous êtes invisible dans leurs réponses. Voici comment vérifier et corriger l'accès de GPTBot, ClaudeBot, PerplexityBot & co.
C'est quoi, robots.txt ?
C'est un fichier à la racine de votre site (votre-site.com/robots.txt) qui indique aux robots quelles parties ils ont le droit de visiter. Chaque robot a un nom (« user-agent »). On peut l'autoriser (Allow) ou le bloquer (Disallow).
Pourquoi c'est critique pour l'IA
Les IA ont leurs propres robots : GPTBot (ChatGPT), ClaudeBot (Claude), PerplexityBot (Perplexity), Google-Extended (Google AI). Si votre robots.txt les bloque — parfois sans le savoir — ces IA ne peuvent pas lire votre site, donc ne vous citeront jamais. C'est le point le plus binaire de tout le référencement IA.
Comment les autoriser
Vérifiez votre robots.txt et assurez-vous que les robots IA ne sont pas bloqués. Pour les autoriser explicitement :
# Autoriser les robots d'IA
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /Attention à l'inverse : une règle Disallow: / sous l'un de ces user-agents les bloque totalement.
Vos robots IA sont-ils autorisés ?
Vérifier gratuitement mon site