크롤링 제어

robots.txt 검사 및 수정 도구

크롤링 규칙을 검증하고 의도치 않은 차단과 사이트맵을 찾아 더 안전한 수정 초안을 만듭니다.

무료로 사용 가능 로그인 불필요크롤러가 오기 전에 위험한 규칙 찾기

이 작업을 Surpasso로 계속하시겠어요?Surpasso가 robots.txt를 모니터링하고 중요한 페이지를 차단하는 규칙을 찾습니다.

robots.txt 파일 확인

도메인 또는 페이지 경로를 입력해 해당 경로의 크롤링 허용 여부를 확인합니다.

결과는 사이트의 현재 공개 응답을 기반으로 합니다. 확인할 수 없는 항목은 ‘알 수 없음’으로 표시됩니다.

이 도구를 사용하여 실시간 robots.txt 파일을 검사하고 특정 페이지 경로를 테스트하여 잘못된 지시어를 찾고 사이트맵 선언을 발견하며 기존 규칙을 무단으로 삭제하지 않고 보수적인 초안을 준비할 수 있습니다.

제공 결과

결과 해석 방법

테스트된 크롤러가 해당 경로에서 금지되지 않았습니다. 그러나 HTTP 문제, 네트워크 문제, 인증 문제, 또는 렌더링 문제로 인해 페이지를 가져올 수 없을 수 있습니다.

표시된 규칙이 테스트 경로를 차단합니다. 수정 작업을 진행하기 전에 차단이 의도적인지 확인해 주세요.

예시는 이미 존재하는 규칙을 유지하면서 안전한 기본 요소만을 추가합니다. 이는 검토 지원용으로, 자동 대체는 아닙니다.

제한 사항과 출처

이 도구에 대한 질문

필수 페이지는 여전히 실제 인증이 필요하지만, 불필요한 크롤링을 줄일 수 있습니다. 로봇 규칙은 공개적으로 표시되므로 접근 제어 기능이 없습니다.

주요 검색 엔진은 일반적인 와일드카드 패턴을 지원하지만, 표준과 크롤러의 동작은 다릅니다. 의도한 정책을 표현하는 가장 간단한 경로 규칙을 선호하세요.