community-automations/autonomous-crawler

البحث والاستطلاع

Publicوكيل Claude فرعي

زاحف ذاتي

زحف موقع كامل يدوياً يعني تفويت صفحات، أو إرهاق الخادم، أو فقدان أثر ما جلبته أصلاً. هذا الزاحف يدير عملية المسح بأكملها.

sonnet4 أيامPlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

لماذا هذا الوكيل تحديدًا

زحف موقع كامل يدوياً يعني تفويت صفحات، أو إرهاق الخادم، أو فقدان أثر ما جلبته أصلاً. هذا الزاحف يدير عملية المسح بأكملها.

انطلاقاً من عنوان URL أولي يكتشف الروابط، ويبقى داخل النطاق، وينظّم وتيرة الطلبات بحيث يبقى الموقع سعيداً. تُعاد محاولة الإخفاقات مع تراجع زمني، وتُتتبَّع العناوين المُزارة لتفادي الحلقات، وتُخزَّن كل صفحة مع بياناتها الوصفية. وحين تفرغ قائمة الانتظار، تحصل على تقرير تغطية.

كيف يعمل

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

نموذج للمخرجات

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.