community-automations/autonomous-crawler

Research & intel

PublicClaude-subagent

Autonome crawler

Een hele site met de hand crawlen betekent pagina's missen, de server hameren of de tel kwijtraken van wat je al hebt opgehaald. Deze crawler beheert de hele sweep.

sonnet4 dagenPlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

Waarom deze subagent

Een hele site met de hand crawlen betekent pagina's missen, de server hameren of de tel kwijtraken van wat je al hebt opgehaald. Deze crawler beheert de hele sweep.

Vanaf een seed-URL ontdekt hij links, blijft hij binnen het domein en doseert hij requests zodat de site het naar zijn zin houdt. Mislukkingen worden herprobeerd met backoff, bezochte URL's worden bijgehouden om loops te vermijden, en elke pagina wordt met zijn metadata opgeslagen. Als de wachtrij leeg is, krijg je een dekkingsrapport.

Hoe hij werkt

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Voorbeelduitvoer

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.