Überprüfe, ob Such- und Trainingsarbeiter von OpenAI, Anthropic, Perplexity und Google auf eine Seite zugreifen können.
Geben Sie eine Domain oder eine bestimmte Seite ein, um die veröffentlichten Crawler-Regeln zu prüfen.
Die Ergebnisse basieren auf der aktuellen öffentlichen Antwort des Sites. Alles, was nicht bestätigt werden kann, wird als Unbekannt markiert.
Diese Prüfung liest die im Site-publizierten robots.txt-Regeln für benannte KI-Such- und Trainings-Crawlers. Sie zeigt die passende Regel an, anstatt eine präzise Politik in eine unerklärliche Punktzahl zu verwandeln.
Die veröffentlichten Regeln verhindern den Crawler nicht auf dem getesteten Pfad. Dies garantiert nicht, dass der Crawler die Seite besucht, indexiert, zitiert oder trainiert.
Eine passende Verbotspflicht ist präziser als irgendeine Wettbewerber- Erlaubnispflicht. Überprüfen Sie den genauen Gruppen- und Pfad-Beitrag, bevor Sie es ändern.
Das Tool konnte keine Politik bestätigen, meistens, weil robots.txt nicht abgerufen werden konnte. Versuchen Sie es später noch einmal und überprüfen Sie CDN- oder Firewall-Protokolle, bevor Sie zu einem Schluss kommen.
Oft ja. Anbieter veröffentlichen separate Benutzerschleifen für verschiedene Zwecke. Verwenden Sie anbieterspezifische Gruppen, dokumentieren Sie Ihre Richtlinie und überprüfen Sie sie nach der Bereitstellung erneut.
Google dokumentiert Google-Extended als Kontrollmechanismus für bestimmte generative KI-Nutzungen, nicht als Kontrollmechanismus für die Inklusion oder das Ranking in Google-Suchergebnissen.
