🤖 robots.txt 생성기
웹사이트 크롤링을 제어하는 robots.txt 파일을 쉽게 생성하세요
#SEO#웹#크롤러#검색엔진
robots.txt 설정
📋 템플릿 선택
전체 허용
모든 크롤러가 모든 페이지에 접근할 수 있습니다
전체 차단
모든 크롤러의 접근을 차단합니다
블로그용
개인 블로그에 최적화된 설정입니다
쇼핑몰용
전자상거래 사이트에 최적화된 설정입니다
기업 사이트용
기업 웹사이트에 최적화된 설정입니다
보수적 설정
최소한의 접근만 허용하는 보수적인 설정입니다
🤖 크롤러 설정
1개 크롤러User-agent: *
/admin/
/private/
/temp/
자주 차단하는 경로:
https://example.com/sitemap.xml
robots.txt 미리보기
User-agent: * Disallow: /admin/ Disallow: /private/ Disallow: /temp/ Sitemap: https://example.com/sitemap.xml
크롤러 수
1
사이트맵 수
1
📋 사용법
- 생성된 robots.txt 파일을 다운로드하세요
- 웹사이트의 루트 디렉터리(/)에 업로드하세요
- https://yourdomain.com/robots.txt로 접근 가능해야 합니다
- Google Search Console에서 robots.txt를 테스트해보세요
💡 SEO 팁
- 중요한 페이지는 실수로 차단하지 마세요
- 크롤 딜레이는 서버 부하를 고려하여 설정하세요
- 사이트맵은 반드시 절대 URL로 입력하세요
- robots.txt 변경 후 검색엔진에 재크롤링을 요청하세요
사용법 및 활용 팁
📝 기본 사용 방법
- 기본 설정에서 전체 허용/차단을 선택하세요
- 특정 크롤러(구글봇, 빙봇 등)를 선택하거나 전체(*)를 설정하세요
- 차단할 디렉터리나 파일을 추가하세요
- 사이트맵 URL을 입력하세요 (선택사항)
- 생성된 robots.txt 파일을 다운로드하거나 복사하세요
💡 최적화 팁
- • User-agent: *는 모든 크롤러에 적용되는 설정입니다
- • Disallow: /admin/처럼 슬래시로 시작하는 경로를 입력하세요
- • Sitemap URL은 절대 경로(https://)로 입력하는 것이 좋습니다
- • robots.txt는 웹사이트 루트 디렉터리(/)에 배치해야 합니다
- • SEO에 중요한 페이지는 실수로 차단하지 않도록 주의하세요
🔒 개인정보 보호
개인정보 보호: 모든 robots.txt 생성은 브라우저에서 처리됩니다
입력하신 정보는 서버로 전송되지 않으며, 완전히 로컬에서 처리됩니다.