community-automations/etl-pipeline

DevOps e codice

PublicSubagent Claude

Pipeline ETL

I job ETL ricchi di testo falliscono in silenzio: poche righe malformate, una fonte instabile, e te ne accorgi giorni dopo quando un report sembra sbagliato. Questo runner rende ogni batch tracciabile.

sonnet1 settimanaPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

Perché questo subagent

I job ETL ricchi di testo falliscono in silenzio: poche righe malformate, una fonte instabile, e te ne accorgi giorni dopo quando un report sembra sbagliato. Questo runner rende ogni batch tracciabile.

Valida rispetto allo schema, pulisce e arricchisce il testo, riprova gli errori transitori con backoff e mette in quarantena i record che continuano a fallire invece di scartarli. Ogni run si chiude con un audit log che conta cos'è entrato, cos'è stato scartato e cos'è atterrato, così puoi fidarti dei numeri.

Come gira

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Esempio di output

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.