WebmoaBot 수집 안내
WebmoaBot은 웹모아가 커뮤니티 게시판의 목록 페이지에서 글 제목과 링크를 모으는 데 쓰는 크롤러입니다.
User-Agent: WebmoaBot/0.1 (+https://webmoa.org/bot)
무엇을 가져가나요
- 게시판 목록 페이지에 보이는 글 번호, 제목, 작성자 닉네임, 작성 시각, 조회·추천·댓글 수
- 본문, 이미지, 댓글 내용은 요청하지도 저장하지도 않습니다. 개별 글 페이지에는 접속하지 않습니다.
- 모은 제목은 원문 링크와 함께만 보여 주며, 90일이 지나면 지웁니다. 작성자 닉네임은 화면에 보여 주지 않습니다.
요청 방식
- robots.txt를 하루 한 번 확인하고, 막힌 경로는 요청하지 않습니다.
- 한 사이트에는 동시에 한 번만, 요청 사이 최소 3초 간격을 둡니다. robots.txt에 Crawl-delay가 있으면 그 간격(60초까지)을 따릅니다.
- 같은 게시판은 1~15분에 한 번 조회하고(사이트 사정에 따라 더 길게), 한 번에 최대 5페이지까지만 읽습니다.
- 차단 응답(403, 429, 보안 확인 화면 등)을 받으면 그 사이트 요청을 바로 멈추고 점점 길게(최대 6시간) 쉽니다. 브라우저로 위장하거나 보안 확인을 우회하지 않습니다.
수집을 원하지 않으시면
다음 중 편한 방법을 쓰시면 됩니다. 확인하는 즉시 해당 사이트를 수집 대상에서 빼고, 이미 모은 제목도 지웁니다.
- robots.txt에 추가:
User-agent: WebmoaBot Disallow: /
- 수집 제외 요청에 사이트 주소와 함께 남겨 주세요. 요청 간격 조정을 원하시면 원하는 간격을 적어 주세요.
지금 수집 중인 곳
| 사이트 | 게시판 | 조회 간격 |
|---|---|---|
| 클리앙 | 모두의공원 | 약 5분마다 |
| 뽐뿌 | 자유게시판 | 약 5분마다 |
| 루리웹 | 유머 베스트 | 약 5분마다 |
| 보배드림 | 베스트글 | 약 5분마다 |
| 이토랜드 | HIT인기 | 약 5분마다 |
| 개드립 | 개드립 | 약 5분마다 |
| 웃긴대학 | 웃긴자료 | 약 5분마다 |
| 인스티즈 | 이슈 | 약 5분마다 |
| 82쿡 | 자유게시판 | 약 5분마다 |
| 인벤 | 오픈이슈갤러리 | 약 5분마다 |
| 와이고수 | 엽기 | 약 5분마다 |
| 오늘의유머 | 베스트오브베스트 | 약 5분마다 |
| 미코 | IT 소식 | 약 5분마다 |
| 미코 | 미니기기/음향 | 약 5분마다 |