community-automations/web-scraper

البحث والاستطلاع

Publicوكيل Claude فرعي

وكيل كشط الويب

تعرض المواقع الحديثة محتواها عبر JavaScript، فيُعيد طلب HTTP بسيط هيكلاً فارغاً. هذا الكاشط يقود متصفّحاً حقيقياً ليحصل على البيانات التي تُحمَّل فعلاً.

sonnetأسبوع واحدBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

لماذا هذا الوكيل تحديدًا

تعرض المواقع الحديثة محتواها عبر JavaScript، فيُعيد طلب HTTP بسيط هيكلاً فارغاً. هذا الكاشط يقود متصفّحاً حقيقياً ليحصل على البيانات التي تُحمَّل فعلاً.

ينتظر تطبيق الصفحة الواحدة حتى يُعرَض، ويستخرج الحقول إلى JSON مُحدَّد النوع، ويتحقّق من كل سجل قبل تخزينه. تذهب الصفوف النظيفة إلى Postgres للاستعلام ويستقر JSON الخام في S3 كنسخة احتياطية، فيُلتقَط أي تغيّر في التخطيط بدلاً من أن يفسد مجموعة بياناتك بصمت.

كيف يعمل

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

نموذج للمخرجات

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.