community-automations/etl-pipeline

DevOps & code

PublicClaude-subagent

ETL-pipeline-runner

Tekstzware ETL-jobs falen geruisloos: een paar misvormde rijen, een wankele bron, en dagen later kom je erachter als een rapport er verkeerd uitziet. Deze runner maakt elke batch traceerbaar.

sonnet1 weekPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

Waarom deze subagent

Tekstzware ETL-jobs falen geruisloos: een paar misvormde rijen, een wankele bron, en dagen later kom je erachter als een rapport er verkeerd uitziet. Deze runner maakt elke batch traceerbaar.

Hij valideert tegen het schema, schoont de tekst op en verrijkt die, probeert tijdelijke fouten opnieuw met backoff en zet records die blijven falen in quarantaine in plaats van ze te laten vallen. Elke run eindigt met een audit log dat telt wat erin ging, wat werd afgewezen en wat landde, zodat je de cijfers kunt vertrouwen.

Hoe hij werkt

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Voorbeelduitvoer

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.