明確で使いやすい結果
- 各サポートされているクローラーが独自のユーザーエージェントグループを持っているか、ワイルドカードグループを継承しているかを示します。
- 入力したページに適用される最も具体的なAllowまたはDisallowパスを示します。
- robots.txtが存在せず、読み取れなかった場合、不確実性が権限として提示されることはありません。
ウェブサイトを確認
ドメインまたは特定のページを入力して、公開されているクローラールールを確認します。
チェック準備
結果はサイトの現在の公開応答から来ます。確認できないものは不明とマークされます。
このツールについて
このチェックは、サイトに公開されているrobots.txtのルールを確認し、AI検索とトレーニングのクローラーが名前を指定されているかを示します。具体的な規則を単一の不明なスコアに変換せずに、該当する規則を表示します。
結果の読み方
許可
公開されたルールがそのクローラーをテストされたパスでブロックしていません。これにより、クローラーがページを訪問、インデックス化、引用、または学習する保証はありません。
ブロック済み
一致するDisallowルールが競合するAllowルールよりも詳細です。変更する前に、正確なグループとパスを確認してください。
不明
ポリシーを確認することができませんでした、通常はrobots.txtを取得できなかったためです。結論を出す前に、後で再試行し、CDNやファイアウォールのログを確認してください。
制限事項と参照元
- robots.txtはクローラー指示書であり、認証やセキュリティ制御ではありません。
- ユーザーがトリガーする取得エージェントは、自主的な検索やトレーニングクローラーとは異なるポリシーを遵循できます。
- このチェックは、CDN、WAF、ボットマネージャ、ログイン壁、または地理的ルールがリクエストを許可していることを証明するものではありません。
このツールに関する質問
AI検索を許可しながらモデルトレーニングをブロックすることは可能でしょうか？
通常は可能です。プロバイダーは、異なる目的のために異なるユーザーエージェントを公開しています。プロバイダー固有のグループを使用し、文書化されたポリシーを保持し、デプロイ後も再チェックを行ってください。
Google-Extendedをブロックすると、ページがGoogle検索から削除されますか？
Googleドキュメントは、特定の生成AIの使用を制御するために拡張され、Google検索の包含や順位決定には制御されません。