community-automations/etl-pipeline

DevOps și cod

PublicSubagent Claude

Executor Pipeline ETL

Joburile ETL cu mult text eșuează în tăcere: câteva rânduri malformate, o sursă instabilă și afli abia după zile, când un raport arată greșit. Acest runner face fiecare lot trasabil.

sonnet1 săptămânăPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

De ce acest subagent

Joburile ETL cu mult text eșuează în tăcere: câteva rânduri malformate, o sursă instabilă și afli abia după zile, când un raport arată greșit. Acest runner face fiecare lot trasabil.

Validează datele pe baza schemei, curăță și îmbogățește textul, reîncearcă erorile tranzitorii cu backoff și pune în carantină înregistrările care continuă să eșueze, în loc să le șteargă. Fiecare rulare se încheie cu un jurnal de audit care numără ce a intrat, ce a fost respins și ce a ajuns la destinație, ca tu să te poți încrede în cifre.

Cum funcționează

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Exemplu de output

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.