Überprüfen Sie die Krawlregeln, finden Sie zufällige Blockierungen, entdecken Sie Sitemaps und bereiten Sie eine sichere Version vor.
Geben Sie eine Domain oder einen Seitenpfad ein, um zu prüfen, ob dieser Pfad zugelassen ist.
Die Ergebnisse basieren auf der aktuellen öffentlichen Antwort des Sites. Alles, was nicht bestätigt werden kann, wird als Unbekannt markiert.
Prüfen Sie die veröffentlichte robots.txt, testen Sie einen bestimmten Seitenpfad, finden Sie fehlerhafte Anweisungen und Sitemap-Einträge und erstellen Sie einen vorsichtigen Entwurf, ohne bestehende Regeln unbemerkt zu entfernen.
Der getestete Crawler ist auf diesem Pfad nicht verboten. Es kann trotzdem Gründe wie HTTP, Netzwerk, Authentifizierung oder Darstellung verhindern, dass die Seite abgerufen wird.
Die angezeigte Regel verbotet den getesteten Pfad. Überprüfen Sie, ob der Verbot beabsichtigt ist, bevor Sie eine Produktdatei bearbeiten.
Der Entwurf behält lesbare bestehende Regeln bei und fügt nur sicher fehlende Grundlagen hinzu. Er dient als Überprüfungsaid und nicht als automatischer Ersetzer.
Sie können unnötiges Krawlen reduzieren, aber sensible Seiten müssen immer echte Authentifizierung erfordern. Eine robots.txt Regel ist öffentlich sichtbar und bietet keine Zugriffskontrolle.
Große Suchmaschinen unterstützen allgemeine Wildcard-Muster, aber Standards und Suchmaschinenerhalten variieren. Wählen Sie den einfachsten Pfad, der die vorgesehene Politik ausdrückt.
