community-automations/etl-pipeline

DevOps＆コード

PublicClaude サブエージェント

ETL パイプラインランナー

テキスト中心の ETL ジョブは静かに失敗します。数行の不正データ、不安定なソース——レポートの異常に気づくのは数日後です。このランナーはすべてのバッチを追跡可能にします。

sonnet1週間以内PythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

このサブエージェントを選ぶ理由

テキスト中心の ETL ジョブは静かに失敗します。数行の不正データ、不安定なソース——レポートの異常に気づくのは数日後です。このランナーはすべてのバッチを追跡可能にします。

スキーマに対して検証し、テキストのクリーニングとエンリッチを行い、一時的なエラーはバックオフ付きでリトライし、失敗が続くレコードは破棄せず隔離します。実行のたびに監査ログが生成され、入力件数、拒否件数、反映件数が記録されるため、数値を信頼できます。

動作の流れ

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

出力サンプル

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.