community-automations/web-scraper

Дослідження та розвідка

PublicСубагент Claude

Агент для веб-скрапінгу

Сучасні сайти рендеряться через JavaScript, тому звичайний HTTP-запит повертає лише порожню оболонку. Цей скрейпер керує справжнім браузером, щоб отримати дані, які дійсно завантажуються.

sonnet1 тижденьBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Чому цей субагент

Сучасні сайти рендеряться через JavaScript, тому звичайний HTTP-запит повертає лише порожню оболонку. Цей скрейпер керує справжнім браузером, щоб отримати дані, які дійсно завантажуються.

Він чекає, поки SPA відмалюється, витягує поля у типізований JSON і валідує кожен запис перед збереженням. Чисті рядки потрапляють у Postgres для запитів, а сирий JSON лягає в S3 як резервна копія — тож зміна верстки буде помічена, а не тихо зіпсує ваш датасет.

Як він працює

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Приклад результату

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.