Subagente Claude
Porquê este subagente
Fazer crawl a um site inteiro à mão significa perder páginas, sobrecarregar o servidor ou perder o fio ao que já foi recolhido. Este crawler gere a varredura toda.
A partir de um URL semente, descobre links, mantém-se dentro do domínio e ritma os pedidos para que o site se mantenha saudável. As falhas são repetidas com backoff, os URLs visitados são registados para evitar ciclos, e cada página é guardada com os seus metadados. Quando a fila esvazia, recebes um relatório de cobertura.
Como funciona
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Saída de exemplo
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.