community-automations/autonomous-crawler

리서치 & 인텔

PublicClaude 서브에이전트

자율 크롤러

사이트 전체를 손으로 크롤링하면 페이지를 빠뜨리거나, 서버를 때리거나, 뭘 이미 가져왔는지 놓치기 마련입니다. 이 크롤러가 전체 작업을 알아서 관리합니다.

sonnet4일PlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

왜 이 서브에이전트인가

사이트 전체를 손으로 크롤링하면 페이지를 빠뜨리거나, 서버를 때리거나, 뭘 이미 가져왔는지 놓치기 마련입니다. 이 크롤러가 전체 작업을 알아서 관리합니다.

시드 URL에서 링크를 찾아내고, 도메인 안에서만 움직이며, 사이트에 부담이 가지 않도록 요청 간격을 조절합니다. 실패하면 백오프로 재시도하고, 이미 방문한 URL을 추적해 루프를 막으며, 모든 페이지를 메타데이터와 함께 저장합니다. 큐가 비면 커버리지 리포트를 받으실 수 있습니다.

작동 방식

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

샘플 출력

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.