Newscatcher CatchAll API: я протестував пошук у веб із пріоритетом повноти, створений для AI-агентів
Я поставив Newscatcher CatchAll API одне вперте запитання: знайти всі пожежі на складах у Європі цього кварталу. Не топ-10. Усі. Звичайний пошуковий API дає вам ранжовану сторінку посилань і тихо відкидає «довгий хвіст», що цілком підходить для запиту «найкраща піца поблизу», але марно для завдання зі складанням повного переліку. Приблизно через 15 хвилин у режимі Base CatchAll повернув події з регіональної преси та галузевих видань, які ранжувальні API з нашого тесту best-ai-search-apis-2026 ніколи не показували. Кожен результат прийшов як один структурований об’єкт JSON, а не як посилання. Ця різниця — вся суть історії.
Ось коротка версія, перш ніж ми заглибимося в технічні деталі.
Ключові висновки
- CatchAll — це пошуковий API для вебу з пріоритетом повноти: він повертає структуровані записи подій, а не ранжовану SERP.
- Newscatcher звітує про 79,8% повноти (recall) і F1 0,705 за 32 запитами; на головній сторінці це округлюють до 86%.
- Два режими: Lite (секунди, ліміт близько 100 результатів) і Base (асинхронний, близько 15 хвилин, без ліміту).
- Найкраще підходить для завдань зі складанням переліків (комплеєнс, конкурентна розвідка, моніторинг ланцюгів постачання); це не інструмент для відстеження позицій у SERP.
Пошук із пріоритетом повноти оптимізований для пошуку всього, тоді як пошук із пріоритетом ранжування оптимізований для впорядкування небагатьох знайдених речей. Тримайте цю думку в голові, і решта огляду стане на свої місця.
Що таке CatchAll? (Пошук у веб із пріоритетом повноти, пояснення)
CatchAll — це пошуковий API для вебу з пріоритетом повноти від Newscatcher: замість ранжованого списку топ ~10 посилань він повертає дедуплікований набір структурованих записів подій, де кожен запис є окремим об’єктом JSON із цитатами та витягнутими сутностями. Пріоритет повноти означає, що мета — це повнота охоплення, тобто знаходження кожної релевантної події, а не впорядкування короткого списку за релевантністю.
Newscatcher подає це через просту інтуїтивну аналогію: якщо існує 200 валідних подій, а ваша система показує 5, ваша повнота становить 2,5%. Для запиту «який найкращий ноутбук» це нормально. Для запиту «усі регуляторні дії проти фінтех-компаній ЄС цього року» відповідь із повнотою 2,5% гірша за марну, бо ви не бачите того, що пропустили.
Саме цю категорійну прогалину цілить CatchAll, і її варто розуміти, навіть якщо ви ніколи не зареєструєтеся. Пітч запуску YC називає його «пошуковим API для вебу з пріоритетом повноти», і позиціонування можна прочитати прямо зі сторінки продукту Newscatcher's CatchAll Web Search API. Чесне формулювання таке: SERP API відповідає на питання «що мені читати спершу?», а CatchAll — «який повний список?».
Як працює CatchAll: пайплайн пошуку + валідації
CatchAll працює за п’ятиетапним пайплайном: планування запиту переписує ваш промпт у кілька кутів пошуку, масштабний пошук сканує понад 50 000 сторінок на завдання, алгоритм Лейдена кластеризує пов’язані сторінки в окремі події, LLM валідує кожен кластер щодо вашого запиту, а ті, що пройшли перевірку, повертаються як структурований JSON. Повнота забезпечується скануванням; точність — валідацією.
Розберемо ці етапи швидко:
- Планування запиту. Ваш один запит перетворюється на кілька пошукових промптів, що охоплюють різні формулювання та типи подій, тому «пожежа на складі» також ловить «загоряння на логістичному терміналі».
- Масштабний пошук. Newscatcher каже, що одне завдання забирає 50 000+ сторінок зі швидкістю близько 10 000 сторінок на хвилину без обмеження результатів, дістаючи регіональну пресу, галузеві видання та регуляторні файли, які звичайні SERP ховають глибоко.
- Кластеризація. Алгоритм Лейдена групує щільно пов’язані сторінки в спільноти. Простими словами: 30 статей про одну й ту саму пожежу в Роттердамі згортаються в одну подію, а не в 30 рядків.
- Валідація LLM. Кожен кластер оцінюється щодо вашого запиту, а нерелевантні відкидаються. Цей етап коштує реальних викликів до LLM, тому у продакшн-стеку агентів ви захочете маршрутизувати їх через LLM gateway, щоб контролювати витрати та мати резервний варіант.
- Структурований вивід. Один об’єкт JSON на валідовану подію з динамічною схемою.
Newscatcher звітує про індексацію понад 2 мільйонів реальних подій щодня, при цьому нові події з’являються менш ніж за години. Технічна стаття «The Architecture of Completeness» розкриває внутрішню роботу Лейдена та валідації, якщо вам потрібні глибші деталі.
Саме тут жив мій тест із пожежами на складах. Я запустив запит на складання переліку в режимі Base, завдання зайняло близько 15 хвилин, і цінність проявилася саме там, де обіцяє пайплайн: регіональні та галузеві джерела, згруповані в окремі події, які ранжована SERP або сховала б нижче межі видимості, або взагалі пропустила.
Ключові функції: монітори, списки спостереження та вилучення подій
Окрім разового пошуку, CatchAll постачається з моніторами та списками спостереження. Монітори — це заплановані повторні запуски (мінімум щогодини), які повертають лише нові дедупліковані події з моменту останнього запуску. Списки спостереження фільтрують за сутністю, мають оцінку релевантності від 1 до 10 та розпізнавання сутностей, яке зіставляє одну й ту саму компанію різними мовами та юрисдикціями.
Монітори перетворюють разовий пошук на постійне спостереження: кожен запуск повертає лише ті події, які є новими з часу попереднього. Це різниця між «шукай у веб сьогодні» та «повідом мене, коли щось зміниться».
Одне чесне застереження щодо формулювання «API моніторингу подій у реальному часі»: «реальний час» тут означає щогодинні повторні запуски, а не потокову передачу з субсекундною затримкою. Якщо вам потрібні мілісекундні push-сповіщення, це не той інструмент. Для команди комплеєнсу, яка перевіряє дані двічі на день, щогодинного оновлення більш ніж достатньо. Company Watchlist є standout-функцією для конкурентної розвідки, оскільки вона об’єднує «Acme GmbH», «Acme Inc» і «Acme Holdings» в одну відстежувану сутність замість трьох шумних.
Структурований вивід JSON (з реальним прикладом)
Кожен результат — це одна подія як один об’єкт JSON: cluster_id, title, оцінка relevance, масив entities та масив source_citations. Без парсингу HTML, без списку посилань для обробки. Саме це робить CatchAll справжнім структурованим пошуковим API для вебу, а не просто оболонкою над SERP.
Ось скорочена подія з мого запуску щодо пожеж на складах, трохи очищена, але зі збереженою структурою:
{
"events": [
{
"cluster_id": "evt_8f21a",
"title": "Fire at logistics warehouse near Rotterdam",
"relevance": 9,
"entities": [
{"name": "Rotterdam", "type": "location"},
{"name": "Maasvlakte", "type": "facility"}
],
"source_citations": [
{
"url": "https://...",
"publisher": "regional trade press",
"published_at": "2026-..."
}
]
}
]
}Зверніть увагу, що масив source_citations вказує на регіональне галузеве видання — саме такий тип джерел ранжувальний API занижує в пріоритетах. Оскільки кожна подія вже структурована, ви можете безпосередньо завантажувати валідовані записи в RAG pipeline або зберігати та вбудовувати їх у векторну базу даних без проміжного кроку скрапінгу чи очищення. Ця заощаджена дія — тихий виграш у продуктивності.
Як викликати CatchAll у Python? (Швидкий старт кодом)
Ви отримуєте API-ключ, надсилаєте POST-запит на /v3/search із заголовком x-api-token і парсите масив events. Це весь цикл. Ось мінімальний виклик на Python:
import requests
resp = requests.post(
"https://api.newscatcherapi.com/v3/search",
headers={"x-api-token": "YOUR_API_KEY"},
json={"query": "warehouse fires in Europe", "page_size": 10},
)
events = resp.json()["events"]
for ev in events:
print(ev["title"], "—", ev["relevance"])Професійна порада та підводний камінь в одному: режим Lite повертає результат за секунди, але обмежує кількість результатів приблизно 100, тоді як режим Base є асинхронним і займає близько 15 хвилин для глибокого завдання. Для Base ви подаєте запит і опитуєте статус, а не блокуєте виконання одним викликом, тому проектуйте свого агента за принципом «надіслати й перевірити», а не «чекати». Якщо ви інтегруєте CatchAll в агента, зазвичай викликаєте його як інструмент через function calling. Перед релізом уточніть точні параметри запиту та прапорець Lite проти Base в документації CatchAll; заголовок автентифікації — x-api-token.
Скільки коштує CatchAll? Чи є безкоштовний тариф?
Ціноутворення залежить від використання та оплати за валідований запис, приблизно $0,10 за запис, і нуль результатів означає нульову плату. Існує безкоштовний тариф із приблизно 2000 кредитів при реєстрації плюс близько 10 пошуків на місяць, без прив’язки картки, тож ви можете провести реальний тест на складання переліку перед тим, як робити внесок.
Модель «нуль результатів — нульова плата» важлива для роботи з переліками: запит, який legitimately не має відповідних подій, не витрачає бюджет. Щодо поширеного питання, чи безкоштовний пошуковий API Google, то нативні пошукові системи Google і Bing не працюють так. Вони повертають ранжовані посилання, а не валідовані структуровані події, а Search API від Bing припиняє роботу, що частково пояснює, чому незалежні індекси зараз на підйомі.
Реальні випадки використання
CatchAll підходить для будь-якої задачі, де пропуск одного елемента є режимом відмови. Відстеження комплеєнсу та регуляторних дій покладається на монітори плюс покриття регуляторних файлів. Конкурентна розвідка працює на основі Company Watchlist. Моніторинг ланцюгів постачання — це патерн із пожежами на складах, коли відстежуються події порушень. Дослідження ринку використовують складання переліків за галузевою пресою.
Загальний патерн для всіх чотирьох: ви будуєте повний список, а потім дієте на його основі, часто всередині автоматизованого робочого процесу web search API for AI agents. Декілька конкретних прикладів:
- Комплеєнс: постійний монітор правоохоронних дій у вашій галузі, щогодини.
- Конкурентна розвідка: список спостереження за трьома конкуруючими сутностями, зіставленими за їхніми юридичними назвами.
- Ланцюг постачання: складання переліку подій порушень (пожежі, страйки, відкликання продукції) поблизу об’єктів ваших постачальників.
- Дослідження ринку: одноразове сканування в режимі Base кожного запуску продукту в ніші цього кварталу.
Бенчмарки: чи справді CatchAll у 3 рази кращий за Exa?
У власному бенчмарку Newscatcher за березень 2026 року з 32 запитами CatchAll звітує про F1 0,705 і 79,8% повноти (4807 подій), вигравши 27 із 32 запитів проти Exa Websets, Parallel AI FindAll та OpenAI Deep Research. Newscatcher описує це як приблизно в 3 рази більше релевантних подій, ніж у конкурентів. Усі числа тут належать самому вендору.
| Інструмент (тест Newscatcher, березень 2026, 32 запити) | F1 | Повнота |
|---|---|---|
| CatchAll | 0,705 | 79,8% (4807 подій) |
| Exa Websets | 0,317 | 19,6% |
| Parallel AI FindAll | 0,103 | 5,5% |
| OpenAI o3 / Deep Research | 0,017 | 0,9% |
Тепер чесно. Власний суворий бенчмарк Newscatcher говорить про 79,8% повноти; головна сторінка округлює це до 86%. Ми будемо цитувати нижче число. Показник 79,8% взято з детальної таблиці на сторінці продукту за 32 запити, тоді як заголовок 86% — це більш округлена заява з іншого зрізу на головній сторінці та в блог-пості. Обидва числа належать Newscatcher. Я починаю з нижчого, тому що цитування більш консервативного внутрішнього числа самого вендора — це жест довіри, який маркетингова сторінка не може собі дозволити. Так чи інакше, напрямковий висновок підтвердився в моїх тестах: повнота дійсно вища, ніж у інструментів із пріоритетом ранжування. Для повного поля дивіться, як CatchAll рейтингується проти 12 інших пошукових API для ШІ у нашому огляді найкращих пошукових API для ШІ, і перевірте сиру таблицю самостійно на сторінці продукту Newscatcher.
Чесні обмеження: для чого CatchAll НЕ підходить
У CatchAll є чотири реальні обмеження, які маркетингові сторінки приховують, і їх варто зважити перед побудовою рішення. Це не інструмент із низькою затримкою, не необмежений у швидкому режимі, ще не plug-and-play для агентів і не трекер ранжування. Жодне з них не є критичним, але кожне виключає певний випадок використання.
- Режим Base є асинхронним (~15 хвилин на завдання). Неправильний інструмент для чат-бота, якому потрібна відповідь за дві секунди.
- Режим Lite обмежує результати приблизно 100. Хочете глибокої повноти швидко? Ви не можете мати обидва варіанти одночасно; глибока повнота сплачує податок затримкою.
- Ще немає офіційного MCP-сервера. Ви самостійно обгортаєте REST-ендпоінт. Якщо ви хочете використовувати його як нативний інструмент агента, вам слід обгорнути REST-ендпоінт як MCP-сервер, так само, як ми будуємо MCP-сервери, які вже використовуємо.
- Це не інструмент для SERP або відстеження ранжування. Він не скаже вам, на якій позиції ви перебуваєте в Google. Це зовсім інша задача.
Цей розділ — та частина, яку жодна стороння сторінка не напише для вас. Якщо асинхронна затримка або відсутність MCP-сервера руйнують ваш випадок використання, краще дізнатися про це тут, ніж після інтеграції.
Альтернативи CatchAll та коли їх обирати
CatchAll виграє за рахунок сирої повноти для складання переліків, але він не є правильним вибором для кожної пошукової задачі. Ось сім реальних альтернатив, кожна з чесною умовою «обирай це замість». Без соломяних опудал.
| Інструмент | Позиціонування в одному рядку | Обирай це замість, якщо… |
|---|---|---|
| Exa / Exa Websets | Нейронний/семантичний пошук плюс перелічені Websets | Вам потрібне семантичне виявлення та релевантність у стилі ембеддінгів замість сирої повноти, з меншими та швидшими наборами результатів. |
| Parallel AI (FindAll) | Агентний API для складання переліків/досліджень | Ви вже в екосистемі Parallel і хочете їхній примітив досліджень у стилі задач. |
| OpenAI Deep Research | Веб-дослідження на основі LLM у кілька кроків | Вам потрібен готовий дослідницький агент у стеку OpenAI, і ви можете терпіти вибіркове охоплення замість вичерпної повноти. |
| Tavily | Пошук із цитуванням, створений для RAG/LangChain | Вам потрібен найпростіший пошук у реальному часі для RAG з вилученням одним викликом та нативною інтеграцією з фреймворками. |
| Brave Search API | Незалежний індекс, приватність, швидкий SERP-стиль | Вам потрібна незалежність від вендора плюс низька затримка, і ранжована сторінка результатів вас влаштовує. |
| SerpAPI / Serper | Скрапінг SERP Google/кількох движків | Вам потрібне відстеження SEO-позицій, функції SERP або точне відтворення того, що показує Google. |
| Linkup | Пошук із фокусом на європейських видавців/джерела | Ваш випадок використання — це охоплення європейських видавців та походження з ліцензованих джерел. |
Швидка евристика: складання переліків і моніторинг вказують на CatchAll, конверсаційний RAG — на Tavily, семантичне виявлення — на Exa, а відстеження ранжування — на SerpAPI.
Як Techsy використовує пошук із пріоритетом повноти в побудові агентів
У Techsy ми поставляємо AI-агентів для B2B-клієнтів, і пошук із пріоритетом повноти чисто вписується в задачі складання переліків і моніторингу: уявіть агента комплеєнсу, якому потрібен повний список правоохоронних дій, а не топ-5. Там ми звертаємося до API з пріоритетом повноти, як-от CatchAll, і чесно обираємо Tavily або Exa, коли задача є конверсаційним RAG або семантичним пошуком. Вибір неправильного пошукового примітиву — одна з найпоширеніших помилок при побудові агентів, які ми виправляємо. Потрібна допомога з вибором? Отримайте безкоштовну консультацію.
Про автора
Мерт Батур Гюрбюз — співзасновник Techsy.io, де команда постачає AI-агентів, системи автоматизації та голосові/SDR-пайплайни для B2B-клієнтів. Він навчається в Бірмінгемському університеті та пише про стек інструментів LLM, який команда Techsy реально використовує у продакшені. Підключайтеся на LinkedIn.
Часті запитання
Що таке Newscatcher CatchAll API?
CatchAll — це пошуковий API для вебу з пріоритетом повноти від Newscatcher. Замість ранжованого списку посилань він повертає структуровані записи подій, по одному об’єкту JSON на реальну подію, кожен із цитатами джерел і витягнутими сутностями. Він створений для AI-агентів, корпоративних досліджень і задач моніторингу, де знаходження кожної релевантної події важливіше, ніж впорядкування короткого списку.
Чим CatchAll відрізняється від звичайного (SERP) пошукового API?
SERP API ранжує та повертає топ кількох посилань, оптимізуючи за принципом «що мені читати спершу». CatchAll оптимізує повноту, скануючи понад 50 000 сторінок на завдання та кластеризуючи їх у дедупліковані структуровані події. Ви отримуєте один об’єкт на подію з цитатами та сутностями, а не HTML-сторінку результатів, яку потрібно самостійно скрапити та парсити.
Чи справді CatchAll у 3 рази кращий за Exa Websets?
Newscatcher звітує про це у власному тесті за березень 2026 року з 32 запитами: CatchAll із 79,8% повноти та F1 0,705 проти Exa Websets із 19,6%, вигравши 27 із 32 запитів, що вони інтерпретують як приблизно в 3 рази більше релевантних подій. Зауважте, що головна сторінка округлює повноту до 86% з іншого зрізу. Усі цифри належать самому вендору; ставтеся до них як до атрибутованих, а не незалежно аудованих.
Скільки коштує CatchAll? Чи є безкоштовний тариф?
Ціноутворення залежить від використання та оплати за валідований запис, близько $0,10 за запис, із нульовою платою, якщо запит не повертає результатів. Безкоштовний тариф надає приблизно 2000 кредитів при реєстрації плюс близько 10 пошуків на місяць, без прив’язки картки. Цього достатньо, щоб провести реальний тест на складання переліку для вашого випадку використання перед виділенням бюджету.
Яка швидкість CatchAll?
Залежить від режиму. Lite повертає результат за секунди, але обмежує кількість результатів приблизно 100. Base є асинхронним і займає близько 15 хвилин на завдання, без обмеження результатів, для глибокого складання переліків. Для завдань Base ви подаєте запит і опитуєте статус, а не блокуєте виконання одним викликом, тому він не підходить для всього, що потребує відповіді менш ніж за секунду, наприклад, для живого чат-бота.
Чи має CatchAll MCP-сервер?
Офіційного поки що немає. Щоб використовувати його як нативний інструмент агента сьогодні, ви самостійно обгортаєте REST-ендпоінт, за тією ж схемою, яку ми описали в нашому посібнику з MCP. Це тонка оболонка навколо одного POST-запиту на /v3/search, тому створити навколо нього невеликий MCP-сервер просто, якщо ваш стек уже підтримує цей протокол.
Що таке монітори та списки спостереження?
Монітори — це заплановані повторні запуски, мінімум щогодини, які повертають лише нові дедупліковані події з моменту останнього запуску, перетворюючи разовий пошук на постійне спостереження. Списки спостереження фільтрують результати за сутністю з оцінкою релевантності від 1 до 10 та зіставляють одну й ту саму компанію різними мовами та юрисдикціями. Разом вони покривають відстеження комплеєнсу та конкурентну розвідку без необхідності повторно запитувати весь веб щоразу.
Чи можна використовувати CatchAll для відстеження SEO-позицій?
Ні. CatchAll повертає валідовані структуровані події, а не рейтинги пошукових систем, тому він не скаже вам, де ваша сторінка перебуває в Google. Для відстеження позицій, функцій SERP або точного відтворення того, що показує Google, використовуйте натомість SerpAPI або Serper. CatchAll і трекери ранжування вирішують справді різні проблеми, хоча обидва стосуються «веб-пошуку».
Для яких випадків використання CatchAll підходить найкраще?
Завдання зі складанням переліків і моніторингом, де важлива повнота: відстеження комплеєнсу та регуляторних дій, конкурентна розвідка, моніторинг порушень у ланцюгах постачання та дослідження ринку за галузевою пресою. Спільною ниткою є те, що пропуск однієї релевантної події є режимом відмови, що саме й покликаний запобігти пошук із пріоритетом повноти. Для конверсаційного RAG або семантичного пошуку краще підходить інструмент із пріоритетом ранжування.
Підсумок: пошук із пріоритетом повноти не є ранжованим, і в цьому вся суть. CatchAll обмінює затримку на повноту, і для завдань зі складанням переліків це правильний компроміс. Запустіть безкоштовний тариф на своєму найскладнішому запиті перед прийняттям рішення, оскільки ви можете спробувати безкоштовний тариф CatchAll без прив’язки картки. Якщо асинхронне очікування або відсутність MCP-сервера є критичними, альтернатива з таблиці вище послугує вам краще.