community-automations/etl-pipeline

DevOps & Code

PublicClaude-Subagent

ETL-Pipeline-Runner

Textlastige ETL-Jobs scheitern leise: ein paar fehlerhafte Zeilen, eine wackelige Quelle, und Sie merken es Tage später, wenn ein Report falsch aussieht. Dieser Runner macht jeden Batch nachvollziehbar.

sonnet1 WochePythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

Warum dieser Subagent

Textlastige ETL-Jobs scheitern leise: ein paar fehlerhafte Zeilen, eine wackelige Quelle, und Sie merken es Tage später, wenn ein Report falsch aussieht. Dieser Runner macht jeden Batch nachvollziehbar.

Er validiert gegen das Schema, bereinigt und reichert den Text an, wiederholt vorübergehende Fehler mit Backoff und stellt dauerhaft scheiternde Datensätze unter Quarantäne, statt sie zu verwerfen. Jeder Lauf endet mit einem Audit-Log, das zählt, was hineinging, was abgewiesen wurde und was ankam, sodass Sie den Zahlen vertrauen können.

So läuft er

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Beispiel-Output

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.