명확하고 사용 가능한 결과
- 지원되는 크롤러 각각이 독립된 사용자-Agent 그룹을 가지는지 또는 와일드카드 그룹을 상속하는지 여부.
- 입력한 페이지에 적용되는 가장 구체적인 허용 또는 금지 경로입니다.
- 로봇스 텍스트가 누락되었거나 읽기 어렵거나 이용할 수 없었을 때, 불확실성은 허용으로 표시되지 않습니다.
웹사이트 확인
도메인 또는 특정 페이지를 입력해 공개된 크롤러 규칙을 확인합니다.
검토 준비
결과는 사이트의 현재 공개 응답을 기반으로 합니다. 확인할 수 없는 항목은 ‘알 수 없음’으로 표시됩니다.
이 도구에 대해
이 검사는 사이트에 게시된 robots.txt 규칙을 확인하여 명시된 AI 검색 및 훈련 크롤러가 있는지 확인합니다. 이를 통해 정교한 정책을 단순한 설명 없는 점수로 변환하지 않고 일치하는 규칙을 보여줍니다.
결과 해석 방법
허용된
발행된 규칙이 테스트 경로에서 해당 크롤러를 차단하지 않습니다. 이는 크롤러가 페이지를 방문, 인덱싱, 인용, 또는 학습할 것을 보장하지 않습니다.
차단됨
일치하는 Disallow 규칙은 모든 경쟁 Allow 규칙보다 더 구체적입니다. 변경하기 전에 정확한 그룹과 경로를 다시 확인해 주세요.
알 수 없음
도구가 정책을 확인할 수 없었습니다. 보통 robots.txt를 가져올 수 없기 때문입니다. 결론을 내기 전에 CDN 또는 방화벽 로그를 확인해 보세요. 후에 다시 시도해 보세요.
제한 사항과 출처
- 로봇스.txt는 크롤러 지시사항이며 인증이나 보안 제어가 아닙니다.
- 사용자에 의해 트리거된 검색 에이전트는 자동 검색 또는 훈련 크롤러와 다른 정책을 따를 수 있습니다.
- 이 검사는 CDN, WAF, 봇 관리자, 로그인 벽, 또는 지리적 규칙이 요청을 허용한다는 것을 증명하지 않습니다.
이 도구에 대한 질문
AI 검색은 허용하되 모델 훈련은 차단할 수 있나요?
일반적으로 그렇습니다. 제공자는 다양한 목적을 위해 별도의 사용자-Agent를 공개합니다. 제공자별 그룹을 사용하고 문서화된 정책을 유지하며 배포 후 다시 확인하세요.
Google-확장 차단이 페이지를 구글 검색에서 제외시킵니까?
Google 문서는 Google 확장 기능으로 특정 생성 AI 사용을 제어하지만, Google 검색에 포함되거나 순위가 결정되는 것은 아닙니다.