明確で使いやすい結果
- HTTPの可用性と応答が使用可能なテキスト型robotsファイルであるかの確認。
- ユーザーエージェントグループ、許可と制限の指示、怪しいフォーマット、およびサイト全体のブロック。
- 入力されたパスに適用されるルール、およびファイル内で公開されたサイトマップURL。
すべての無料ツール
クロール制御
robots.txt チェッカー & フィッター
クロールルールを検証し、誤ったブロックを発見し、サイトマップを発見し、より安全なドラフトを準備します。
無料で使用可能 サインイン不要クローラーが危険なルールを見つけ出す前にリスクを特定します
この作業を Surpasso で継続しますか？Surpassoはrobots.txtを監視し、重要なページをブロックする規則を警告します。
robots.txtを確認
ドメインまたはページパスを入力して、そのパスへのアクセスが許可されているか確認します。
チェック準備
結果はサイトの現在の公開応答から来ます。確認できないものは不明とマークされます。
このツールについて
公開中の robots.txt を確認し、特定のページパスをテストして、記述ミスや Sitemap の指定を検出します。既存ルールを勝手に削除せず、安全側に配慮した修正案も作成できます。
結果の読み方
パスが許可されています
テストされたクローラーがそのパスで許可されていません。しかし、HTTP、ネットワーク、認証、またはレンダリングの理由によりページを取得できない可能性があります。
パスが阻害されています
表示されたルールがテストされたパスを阻害しています。生産ファイルを編集する前に、阻害が意図的なものであることを確認してください。
ドラフトが利用可能です
ドラフトは既存のルールを読みやすく保ち、安全な欠落した基本要素のみを追加します。これは確認のための支援手段であり、自動置換ではありません。
制限事項と参照元
- ロボッツルールはクローリングを防ぐことができますが、公開リンクされたURLを秘匿することはできません
- 非標準の指示が異なる解析器によって解釈される可能性があります；このツールは標準規則に焦点を当てています。
- robots.txtが利用不可の場合、その状態は不明と報告されます；ツールは読み取れないファイルから代替を作成しません。
このツールに関する質問
管理ページやアカウントページをブロックすべきですか？
不要なクローリングを減らすことができますが、機密性の高いページはまだ本物の認証が必要です。robots.txtのルールは公開されており、アクセス制御には役立ちません。
robots.txtはワイルドカードをサポートしますか？
主要な検索エンジンは一般的なワイルドカードパターンをサポートしていますが、標準やクローラーの動作は異なります。意図したポリシーを表現する最もシンプルなルールを優先します。