community-automations/etl-pipeline

DevOps & koodi

PublicClaude-subagentti

ETL-pipeline-käynnistin

Tekstipainotteiset ETL-ajot epäonnistuvat hiljaa: muutama virheellinen rivi, epävakaa lähde, ja huomaat vasta päivien päästä, kun raportti näyttää väärältä. Tämä ajuri tekee jokaisesta erästä jäljitettävän.

sonnet1 viikkoPythonPostgresS3Slack
ClaudeClaude
ROI for
README.md

Miksi tämä subagentti

Tekstipainotteiset ETL-ajot epäonnistuvat hiljaa: muutama virheellinen rivi, epävakaa lähde, ja huomaat vasta päivien päästä, kun raportti näyttää väärältä. Tämä ajuri tekee jokaisesta erästä jäljitettävän.

Se validoi skeemaa vasten, puhdistaa ja rikastaa tekstin, yrittää ohimeneviä virheitä uudelleen kasvavalla viiveellä ja laittaa karanteeniin tietueet, jotka epäonnistuvat toistuvasti, sen sijaan että hylkäisi ne. Jokainen ajo päättyy tarkastuslokiin, joka laskee, mitä meni sisään, mitä hylättiin ja mikä päätyi perille, jotta voit luottaa lukuihin.

Kuinka se toimii

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Näyteulostulo

json
// Sample output
// (generated when the pipeline finishes)

Given a source batch, run extract-transform-load with retries and return a JSON audit log of rows read, transformed, retried, quarantined, and loaded.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.