community-automations/etl-pipeline

DevOps والكود

Publicوكيل Claude فرعي

مشغّل خط ETL

مهام ETL الكثيفة بالنصوص تفشل بصمت: بضعة صفوف مشوّهة، ومصدر متقلّب، فتكتشف الأمر بعد أيام حين يبدو تقرير ما خاطئاً. هذا المشغّل يجعل كل دفعة قابلة للتتبّع.

sonnetأسبوع واحدPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

لماذا هذا الوكيل تحديدًا

مهام ETL الكثيفة بالنصوص تفشل بصمت: بضعة صفوف مشوّهة، ومصدر متقلّب، فتكتشف الأمر بعد أيام حين يبدو تقرير ما خاطئاً. هذا المشغّل يجعل كل دفعة قابلة للتتبّع.

يتحقق مقابل المخطط، وينظّف النص ويُثريه، ويعيد محاولة الأخطاء المؤقتة مع تراجع تدريجي، ويعزل السجلات التي تستمر بالفشل بدل إسقاطها. وينتهي كل تشغيل بـ سجل تدقيق يحصي ما دخل، وما رُفض، وما هبط، فتثق بالأرقام.

كيف يعمل

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

نموذج للمخرجات

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.