community-automations/web-scraper

Araştırma ve İstihbarat

PublicClaude otomasyonu

Web Scraper Agent

Modern siteler JavaScript ile render olur, bu yüzden sade bir HTTP isteği boş bir kabuk döndürür. Bu scraper, gerçekten yüklenen veriyi almak için gerçek bir tarayıcı çalıştırır.

sonnet1 haftaBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Bu otomasyon neden işinize yarar

Modern siteler JavaScript ile render olur, bu yüzden sade bir HTTP isteği boş bir kabuk döndürür. Bu scraper, gerçekten yüklenen veriyi almak için gerçek bir tarayıcı çalıştırır.

Tek sayfalık uygulamanın render olmasını bekler, alanları tipli JSON'a çıkarır ve depolanmadan önce her kaydı doğrular. Temiz satırlar sorgulama için Postgres'e gider, ham JSON ise yedek olarak S3'e iner; böylece bir layout değişikliği, veri setinizi sessizce bozmak yerine yakalanır.

Nasıl çalışır

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Örnek çıktı

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.