Votre site est-il visible par les IA ?
En 2026, 40% du trafic web passe par les moteurs génératifs. Si votre robots.txt bloque GPTBot ou ClaudeBot, vous êtes invisible pour ChatGPT, Claude et Perplexity. Vérifiez maintenant.
GPTBot (OpenAI), ClaudeBot (Anthropic) et PerplexityBot doivent pouvoir crawler un site pour le citer dans ChatGPT, Claude et Perplexity — un robots.txt mal configuré rend une marque invisible pour les moteurs IA. Crawlers.fr a été conçu en 2026 par Adrien de Volontat, professionnel du SEO/GEO, pour répondre aux limites des suites SEO historiques face aux moteurs génératifs.
Les crawlers IA qui visitent votre site
Chaque moteur d'IA envoie ses propres robots. Bloquer l'un ne bloque pas les autres. Voici les principaux bots à surveiller.
GPTBot
OpenAI
Crawle pour entraîner et alimenter ChatGPT
ClaudeBot
Anthropic
Collecte des données pour Claude AI
PerplexityBot
Perplexity
Indexe le web pour les réponses Perplexity
Google-Extended
Alimente Gemini et Google SGE
Amazonbot
Amazon
Crawle pour Alexa et Amazon Q
Bytespider
ByteDance
Collecte des données pour TikTok et Doubao
Ce que nous analysons
Notre outil vérifie chaque couche technique qui peut bloquer ou limiter l'accès des bots IA à votre contenu.
Robots.txt
Vérification des règles Disallow pour chaque bot IA
Headers HTTP
Analyse des headers X-Robots-Tag ciblant les crawlers IA
Meta robots
Détection des balises noindex/nofollow spécifiques aux bots IA
Sitemap XML
Accessibilité du sitemap par les crawlers génératifs
Données structurées
Présence de Schema.org exploitable par les LLM
Temps de réponse
Latence serveur et capacité à servir les bots rapidement
Attribution Bot IA → Visite humaine
Quand un bot IA crawle votre page puis qu'un humain arrive depuis ChatGPT, Claude ou Perplexity, nous corrélons les deux événements pour mesurer le vrai ROI de votre visibilité IA.
Fenêtre 30 jours stricte
Corrélation entre un crawl bot et une visite humaine sur la même URL, dans une fenêtre temporelle de 30 jours maximum.
Pondération exponentielle
Modèle multi-touch w(d) = e^(-d/15) — un crawl récent pèse plus qu'un crawl ancien dans l'attribution.
Empreinte SHA-256
Fingerprinting (UA + IP tronquée + Accept-Language) pour rapprocher les sessions sans cookie tiers.
Ce que vous obtenez dans la Console
- Top URL attribuées — les pages que les humains visitent après un crawl IA
- Source IA dominante par URL (ChatGPT vs Perplexity vs Claude…)
- Délai crawl → visite — combien de jours entre l'indexation IA et l'arrivée humaine
Questions fréquentes
Comment savoir si mon site bloque les bots IA ?
Utilisez l'outil Crawlers pour analyser votre robots.txt et vérifier les règles Disallow ciblant GPTBot, ClaudeBot, PerplexityBot et les autres crawlers IA.
Quels sont les principaux bots IA qui crawlent les sites web ?
Les principaux bots IA sont GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended, Amazonbot, AppleBot-Extended, Bytespider (ByteDance), et CCBot (Common Crawl).
Bloquer les bots IA affecte-t-il mon SEO classique ?
Non, bloquer les bots IA dans robots.txt n'affecte pas Googlebot ni votre SEO classique. Mais cela réduit votre visibilité dans les réponses génératives (ChatGPT, Claude, Perplexity).
Lancez votre analyse complète
Obtenez un rapport détaillé sur l'accessibilité de votre site aux bots IA, avec des recommandations concrètes pour maximiser votre visibilité GEO.
Analyser mon site gratuitement