Subagent Claude
De ce acest subagent
Să crawlezi un site întreg manual înseamnă pagini lipsă, server bombardat sau pierderea evidenței a ce ai deja descărcat. Crawler-ul acesta gestionează toată operațiunea.
Pornește de la un URL seed, descoperă link-urile, rămâne în interiorul domeniului și dozează request-urile ca site-ul să rămână stabil. Eșecurile se reîncearcă cu backoff, URL-urile vizitate sunt urmărite ca să evite buclele, iar fiecare pagină e stocată cu metadatele ei. Când coada se golește, primești un raport de acoperire.
Cum funcționează
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Exemplu de output
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.