Claude otomasyonu
Bu otomasyon neden işinize yarar
Tüm bir siteyi elle crawl etmek; sayfaları atlamak, sunucuyu yormak veya neyi zaten çektiğinizin takibini kaybetmek demektir. Bu crawler tüm taramayı kendisi yönetir.
Bir seed URL'den link'leri keşfeder, domain içinde kalır ve istekleri sitenin keyfi kaçmayacak şekilde hızlandırır. Hatalar backoff ile yeniden denenir, ziyaret edilen URL'ler döngüleri önlemek için takip edilir ve her sayfa metadata'sıyla depolanır. Kuyruk boşaldığında bir kapsam raporu alırsınız.
Nasıl çalışır
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Örnek çıktı
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.