Validez les règles de crawl, découvrez les blocages accidentels, trouvez les sitemaps et préparez une version plus sûre.
Saisissez un domaine ou un chemin de page pour vérifier si son exploration est autorisée.
Les résultats proviennent de la réponse actuelle du site web. Tout ce qui ne peut pas être confirmé est marqué comme inconnu.
Inspectez le fichier robots.txt publié, testez un chemin précis, repérez les directives incorrectes et les déclarations de sitemap, puis préparez une proposition prudente sans supprimer discrètement les règles existantes.
Le crawler testé n’est pas bloqué sur ce chemin. Il peut cependant ne pas pouvoir récupérer la page pour des raisons HTTP, réseau, authentification ou de rendu.
La règle affichée bloque le chemin testé. Vérifiez si le blocage est intentionnel avant de modifier un fichier de production.
Le brouillon conserve les règles lisibles existantes et ajoute seulement des bases essentielles sécurisées. Il sert à la révision, pas à la remplacement automatique.
Vous pouvez réduire les crawls inutiles, mais les pages sensibles doivent toujours nécessiter une authentification réelle. Une règle robots est visible publiquement et ne fournit aucune contrôler d'accès.
Les moteurs de recherche majeurs supportent des modèles de sauts d'étoile courants, mais les normes et le comportement des crawlers varient. Préférez la plus simple des règles de chemin qui expriment la politique souhaitée.
