community-automations/etl-pipeline

DevOps 與程式碼

PublicClaude 子代理

ETL 管線執行器

文字量大的 ETL 工作往往掛得很安靜：幾列格式錯誤、一個不穩的來源，你要到幾天後報表看起來不對勁才發現。這個執行器讓每一批資料都有跡可循。

sonnet1 週PythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

為什麼選擇此子代理

文字量大的 ETL 工作往往掛得很安靜：幾列格式錯誤、一個不穩的來源，你要到幾天後報表看起來不對勁才發現。這個執行器讓每一批資料都有跡可循。

它會依據 schema 驗證、清洗並豐富文字、對暫時性錯誤做退避重試，把一直失敗的紀錄隔離起來而不是直接丟掉。每次執行最後都會產出一份稽核紀錄，算清楚進了多少、退了多少、成功落了多少，讓你能信任那些數字。

運作方式

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

輸出範例

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.