WebmoaBot 수집 안내

WebmoaBot은 웹모아가 커뮤니티 게시판의 목록 페이지에서 글 제목과 링크를 모으는 데 쓰는 크롤러입니다.

User-Agent: WebmoaBot/0.1 (+https://webmoa.org/bot)

무엇을 가져가나요

  • 게시판 목록 페이지에 보이는 글 번호, 제목, 작성자 닉네임, 작성 시각, 조회·추천·댓글 수
  • 본문, 이미지, 댓글 내용은 요청하지도 저장하지도 않습니다. 개별 글 페이지에는 접속하지 않습니다.
  • 모은 제목은 원문 링크와 함께만 보여 주며, 90일이 지나면 지웁니다. 작성자 닉네임은 화면에 보여 주지 않습니다.

요청 방식

  • robots.txt를 하루 한 번 확인하고, 막힌 경로는 요청하지 않습니다.
  • 한 사이트에는 동시에 한 번만, 요청 사이 최소 3초 간격을 둡니다. robots.txt에 Crawl-delay가 있으면 그 간격(60초까지)을 따릅니다.
  • 같은 게시판은 1~15분에 한 번 조회하고(사이트 사정에 따라 더 길게), 한 번에 최대 5페이지까지만 읽습니다.
  • 차단 응답(403, 429, 보안 확인 화면 등)을 받으면 그 사이트 요청을 바로 멈추고 점점 길게(최대 6시간) 쉽니다. 브라우저로 위장하거나 보안 확인을 우회하지 않습니다.

수집을 원하지 않으시면

다음 중 편한 방법을 쓰시면 됩니다. 확인하는 즉시 해당 사이트를 수집 대상에서 빼고, 이미 모은 제목도 지웁니다.

  • robots.txt에 추가:
    User-agent: WebmoaBot
    Disallow: /
  • 수집 제외 요청에 사이트 주소와 함께 남겨 주세요. 요청 간격 조정을 원하시면 원하는 간격을 적어 주세요.

지금 수집 중인 곳

사이트게시판조회 간격
클리앙모두의공원약 5분마다
뽐뿌자유게시판약 5분마다
루리웹유머 베스트약 5분마다
보배드림베스트글약 5분마다
이토랜드HIT인기약 5분마다
개드립개드립약 5분마다
웃긴대학웃긴자료약 5분마다
인스티즈이슈약 5분마다
82쿡자유게시판약 5분마다
인벤오픈이슈갤러리약 5분마다
와이고수엽기약 5분마다
오늘의유머베스트오브베스트약 5분마다
미코IT 소식약 5분마다
미코미니기기/음향약 5분마다