Accès aux recherches par IA

Vérificateur d'accès du robot de crawl IA

Vérifier si les robots de crawl d'entraînement et de recherche d'OpenAI, Anthropic, Perplexity et Google peuvent accéder à une page.

Gratuit à utiliser Pas de connexion requiseDécouvrir la logique derrière chaque résultat

Vous souhaitez que Surpasso poursuive ce travail ?Surpasso surveille les règles d'accès des robots et met en évidence de nouvelles interdictions.

Suivre la visibilité dans l’IA

Vérifier un site

Saisissez un domaine ou une page précise pour vérifier les règles d’exploration publiées.

Prêt à vérifier

Les résultats proviennent de la réponse actuelle du site web. Tout ce qui ne peut pas être confirmé est marqué comme inconnu.

À propos de cet outil

Cette vérification lit les règles du robots.txt publiées du site pour les crawlers d’IA de recherche et d’apprentissage nommés. Elle affiche la règle correspondante plutôt que de transformer une politique nuancée en une note unique et inexplicable.

Ce que vous obtenez

Un résultat clair et utilisable

Si chaque crawler supporté a son propre groupe user-agent ou hérite du groupe générique par défaut.
La règle Allow ou Disallow la plus spécifique qui s’applique à la page que vous avez entrée.
Si le robots.txt est absent, lisible ou indisponible, afin d’éviter de présenter l’incertitude comme une autorisation.

Comment interpréter le résultat

Autorisé

Les règles publiées ne bloquent pas ce crawler sur le chemin testé. Cela ne garantit pas que le crawler visitera, indexera, citera ou apprendra sur la page.

Bloqué

Une règle Disallow correspondante est plus spécifique que toute règle Allow concurrente. Vérifiez le groupe et le chemin exacts avant de les modifier.

Inconnu

Le outil ne peut pas confirmer une politique, ce qui est généralement dû à l’impossibilité de récupérer le robots.txt. Réessayez plus tard et inspectez les journaux CDN ou de pare-feu avant de tirer des conclusions.

Limites et sources

Le robots.txt est une directive pour les crawlers, pas un contrôle d’authentification ou de sécurité.
Les agents déclenchés par l'utilisateur peuvent suivre des politiques différentes des chercheurs autonomes ou des crawlers de formation.
Cette vérification ne prouve pas que les CDN, WAF, gestionnaires de robots, murs d'authentification ou règles géographiques permettent la requête.

OpenAI crawlers Anthropic web crawling Perplexity bots Google common crawlers

Questions sur cet outil

Peux-je autoriser la recherche par IA mais bloquer la formation du modèle ?

Oui, souvent. Les fournisseurs publient des agents utilisateurs spécifiques pour des fins différentes. Utilisez des groupes spécifiques au fournisseur, conservez une politique documentée et relancez une vérification après la mise en production.

En bloquant Google-Extended, les pages sont-elles supprimées de Google Search ?

Google documente Google-Extended comme un contrôle pour certaines utilisations d'IA générative, mais pas comme un contrôle pour l'inclusion ou le classement dans Google Search.