Subagen Claude
Mengapa subagent ini
Mencrawl seluruh situs secara manual berarti ada halaman yang terlewat, server kelebihan beban, atau kehilangan jejak halaman yang sudah diambil. Crawler ini mengelola seluruh prosesnya.
Dari satu seed URL, crawler ini menemukan tautan, tetap berada di dalam domain, dan mengatur laju permintaan agar situs tetap stabil. Kegagalan dicoba ulang dengan backoff, URL yang sudah dikunjungi dilacak untuk menghindari perulangan, dan setiap halaman disimpan beserta metadatanya. Saat antrean habis, Anda mendapat laporan cakupan.
Cara kerjanya
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Contoh output
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.