community-automations/autonomous-crawler

Výzkum a intelligence

PublicSubagent Claude

Autonomní Crawler

Ruční procházení celého webu znamená chybějící stránky, přetěžování serveru nebo ztrátu přehledu o tom, co už jste stáhli. Tenhle crawler zvládne celý průchod.

sonnet4 dnyPlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

Proč tento subagent

Ruční procházení celého webu znamená chybějící stránky, přetěžování serveru nebo ztrátu přehledu o tom, co už jste stáhli. Tenhle crawler zvládne celý průchod.

Z počáteční URL objevuje odkazy, drží se v rámci domény a řídí tempo požadavků, aby web zůstal v pohodě. Selhání se opakují s backoffem, navštívené URL se sledují kvůli vyhnutí se smyčkám a každá stránka se ukládá i se svými metadaty. Když se fronta vyprázdní, dostanete přehled o pokrytí.

Jak běží

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Ukázkový výstup

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.