Сучасні сайти рендеряться через JavaScript, тому звичайний HTTP-запит повертає лише порожню оболонку. Цей скрейпер керує справжнім браузером, щоб отримати дані, які дійсно завантажуються.
Сучасні сайти рендеряться через JavaScript, тому звичайний HTTP-запит повертає лише порожню оболонку. Цей скрейпер керує справжнім браузером, щоб отримати дані, які дійсно завантажуються.
Він чекає, поки SPA відмалюється, витягує поля у типізований JSON і валідує кожен запис перед збереженням. Чисті рядки потрапляють у Postgres для запитів, а сирий JSON лягає в S3 як резервна копія — тож зміна верстки буде помічена, а не тихо зіпсує ваш датасет.
Як він працює
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Витягніть зазначені поля у типізований JSON-запис, спираючись на структуру сторінки, а не на крихкі текстові зміщення.
pending
Перевірте кожен запис на відповідність очікуваній структурі та відкиньте або позначте будь-які пошкоджені дані.
pending
Запишіть JSON у S3, а розібрані рядки — у Postgres для подальших запитів.
pending
Приклад результату
json
// Sample output
// (generated when the pipeline finishes)
Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.