community-automations/etl-pipeline

DevOps & 코드

PublicClaude 서브에이전트

ETL 파이프라인 실행기

텍스트 위주의 ETL 작업은 조용히 실패합니다. 잘못된 행 몇 개, 불안정한 소스 하나면, 며칠 뒤 리포트가 이상해지고 나서야 문제를 알게 됩니다. 이 러너는 모든 배치를 추적 가능하게 만듭니다.

sonnet1주PythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

왜 이 서브에이전트인가

텍스트 위주의 ETL 작업은 조용히 실패합니다. 잘못된 행 몇 개, 불안정한 소스 하나면, 며칠 뒤 리포트가 이상해지고 나서야 문제를 알게 됩니다. 이 러너는 모든 배치를 추적 가능하게 만듭니다.

스키마와 대조해 검증하고, 텍스트를 정제·보강하며, 일시적 오류는 백오프와 함께 재시도하고, 계속 실패하는 레코드는 버리는 대신 격리합니다. 모든 실행은 입력 건수, 거부 건수, 적재 건수를 집계한 감사 로그로 끝나므로 수치를 믿을 수 있습니다.

작동 방식

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

샘플 출력

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.