community-automations/etl-pipeline

DevOps a kód

PublicSubagent Claude

Spouštěč ETL pipeline

Textově náročné ETL úlohy selhávají potichu: pár špatně naformátovaných řádků, nestabilní zdroj – a vy na to přijdete až o pár dní později, když report vypadá divně. Tenhle runner udělá každý běh dohledatelným.

sonnet1 týdenPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

Proč tento subagent

Textově náročné ETL úlohy selhávají potichu: pár špatně naformátovaných řádků, nestabilní zdroj – a vy na to přijdete až o pár dní později, když report vypadá divně. Tenhle runner udělá každý běh dohledatelným.

Validuje data proti schématu, čistí a obohacuje text, přechodné chyby zkusí znovu s backoffem a záznamy, které pořád padají, dá do karantény, místo aby je zahodil. Každý běh končí auditním logem, který spočítá, co vešlo, co bylo odmítnuto a co prošlo, takže číslům můžete věřit.

Jak běží

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Ukázkový výstup

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.