Що таке голосовий ШІ-агент? 5-рівневий стек за кожним реальним дзвінком (2026)

Що таке голосовий ШІ-агент? 5-рівневий стек за кожним реальним дзвінком (2026)

Голосовий ШІ-агент — це програмне забезпечення, яке підтримує живу усну розмову по телефону, у браузері або всередині застосунку, поєднуючи розпізнавання мовлення, мовну модель та синтезований голос. Якщо ви нещодавно дзвонили в банк і робот «натисніть 1 для оплати» раптово почав відповідати на уточнювальні запитання як людина, це голосовий агент, а не старе IVR. За останні 18 місяців ми запустили голосових агентів на базі Retell, Vapi та OpenAI Realtime, тому тут йдеться про практичний досвід розробки, а не про маркетинг постачальників.

Коротка відповідь:

• Голосовий ШІ-агент — це ПЗ, яке веде розмову в реальному часі по телефону або в вебсервері, використовуючи STT, LLM і TTS.
• Він відрізняється від IVR (без дерев меню), чат-ботів (лише текст) і голосових асистентів (одноразові команди).
• Відчуття реального часу вимагає дотримання бюджету відповіді близько ~700 мс для всіх етапів: перетворення мовлення в текст, LLM і синтезу мовлення разом.
• Більшість продуктивних голосових агентів у 2026 році побудовані на потокових конвеєрах, таких як OpenAI Realtime, Deepgram Voice Agent, Retell або Vapi.

Що таке голосовий ШІ-агент?

Голосовий ШІ-агент — це програмне забезпечення, яке веде розмову в реальному часі з людиною. Воно слухає аудіо, перетворює мовлення на текст за допомогою перетворення мовлення в текст (STT), надсилає цей текст великій мовній моделі (LLM), яка вирішує, що сказати та які інструменти викликати, а потім перетворює відповідь назад на аудіо за допомогою синтезу мовлення (TTS). Весь цикл працює безперервно, забезпечуючи чергування реплік, обробку переривань і можливість здійснювати реальні API-виклики прямо під час розмови.

Саме останній пункт дає голосовим агентам право на свою назву. Вони не просто говорять, вони роблять справи. Уявіть: ви дзвоните, щоб перенести зустріч. Агент каже: «Звичайно, який день вам підходить?» Ви відповідаєте. Він запитує ваш API календаря, знаходить вільні слоти, озвучує їх, бронює обраний вами варіант і надсилає підтвердження SMS. Це чотири виклики інструментів протягом одного 90-секундного дзвінка.

Чотири ключові можливості, які потрібно забезпечити:

1. Слухати в реальному часі: часткові транскрипти надходять, поки ви ще говорите, а не після того, як ви замовкли.
2. Розуміти намір: LLM аналізує те, чого ви дійсно хочете, а не просто ключові слова.
3. Відповідати голосом: природна просодія, паузи та здатність бути перерваним посеред речення.
4. Виконувати дії: виклик функцій до вашої CRM, календаря, системи бронювання або будь-чого, що має API.

Голосовий ШІ-агент — це не чат-бот із мікрофоном, це конвеєр реального часу, який повинен слухати, думати й говорити протягом того короткого часу, який людина готова чекати, перш ніж відчути дискомфорт. Про це — далі.

Як насправді працюють голосові ШІ-агенти: 5-рівневий стек

Продуктивний голосовий ШІ-агент працює на п'яти рівнях: телефонія передає аудіо всередину й назовні, STT перетворює мовлення на текст, LLM із викликом інструментів визначає відповідь і дії, TTS перетворює відповідь назад на голос, а оркестратор керує всім конвеєром, обробляючи чергування реплік, потокову передачу, переривання та стан. Кожен рівень — це окрема модель або сервіс, які змагаються проти годинника з лімітом 700 мс.

Ось кожен рівень у порядку проходження аудіо:

1. Телефонія / транспорт, Twilio, Telnyx, SIP-транки або WebRTC. Це нудний, але критично важливий рівень, який доставляє телефонний дзвінок (або браузерне аудіо) у ваш стек і повертає його абоненту. Неправильний вибір кодека або зашумлений SIP-маршрут перетворять ваш чудовий конвеєр на дзвінок у Skype зразка 2007 року.
2. Перетворення мовлення в текст (STT / ASR), Deepgram Nova-3, AssemblyAI Universal-2, OpenAI Whisper, NVIDIA Canary Qwen 2.5B, Kimi-Audio. Вони перетворюють потокове аудіо на текст поки користувач ще говорить. Складність полягає не в точності транскрипції, а у визначенні кінця мовлення (рішенні, коли користувач завершив думку).
3. LLM + виклик інструментів, GPT-4o, Claude 4, Gemini 2.0. Ті самі моделі, які ви використовуєте скрізь, тепер із жорсткішим бюджетом затримки та структурованими схемами виклику функцій, спрямованими на пошук у CRM, API бронювання та інструмент «передачі оператору». Оркестратор вибирає, що викликати, залежно від ходу розмови.
4. Синтез мовлення (TTS), ElevenLabs Flash, Cartesia Sonic, OpenAI TTS, Deepgram Aura. Текст відповіді надходить потоково, токен за токеном; TTS синтезує аудіо фрагментами, щоб голос починав звучати до того, як LLM завершить речення.
5. Оркестратор, Retell, Vapi, Bland, LiveKit Agents, OpenAI Realtime або open-source Pipecat. Диригент, який організовує потік між чотирма рівнями, обробляє перехоплення ініціативи (коли ви говорите поверх агента), відновлюється після помилок і підтримує стан розмови. Якщо ви хочете порівняння яка платформа-оркестратор підходить найкраще, наша стаття детально це розглядає.

Голосовий агент — це не одна модель, це п'ять компонентів, які змагаються з годинником на 700 мс.

Існує два архітектурні підходи, які варто знати: каскадний (описаний вище 5-рівневий конвеєр, де STT → LLM → TTS є окремими моделями) та end-to-end speech-to-speech (одна модель обробляє аудіовхід і аудіовихід, як-от OpenAI Realtime API). End-to-end швидший і природніший; каскадний більш керований і дешевший. Більшість продуктивних стеків у 2026 році все ще каскадні.

Що насправді означає «потокова передача» в цьому контексті?

Потокова передача (streaming) — це ключовий момент. STT видає часткові транскрипти кожні кілька сотень мілісекунд, LLM потоково генерує токени, а TTS синтезує аудіо фрагментами, які можна скасувати, якщо користувач перерве агента. Результат відчувається як розмова; без потокової передачі це схоже на двосторонній радіозв'язок.

Ось приклад конфігурації агента (стиль Retell / Vapi, точний синтаксис залежить від платформи):

{
  "voice": { "provider": "cartesia", "voice_id": "sonic-en-female" },
  "stt": { "provider": "deepgram", "model": "nova-3", "language": "en" },
  "llm": { "provider": "openai", "model": "gpt-4o", "temperature": 0.3 },
  "tools": [
    { "name": "lookup_order", "url": "https://api.example.com/orders" },
    { "name": "book_slot", "url": "https://api.example.com/calendar/book" },
    { "name": "transfer_to_human" }
  ],
  "interruption_sensitivity": 0.7,
  "endpointing_ms": 400
}

Бюджет затримки 500–700 мс (і чому ви її відчуваєте)

У природній розмові люди очікують відповіді приблизно за 600–700 мілісекунд. Якщо затягнути це більше ніж на секунду, дзвінок нагадує поганий мобільний зв'язок; після 1,2 секунди користувачі починають говорити поверх агента або кладуть слухавку. Саме тому архітектура голосового агента — це фундаментально проблема затримки, а не інтелекту.

Розподіл бюджету в здоровому стеку виглядає так:

У наших проєктах час до першого токена LLM є найбільшою змінною: ми бачили значення від 200 мс (GPT-4o за хороших умов) до повних 2 секунд (довге контекстне вікно, «холодна» модель). Там же зосереджена більша частина ваших витрат за хвилину, тому реальний розподіл вартості за хвилину для цього стека заслуговує на окреме глибоке занурення.

Ще дві речі тихо «з’їдають» ваш бюджет. Визначення кінця мовлення — це момент, коли STT вирішує, що користувач закінчив говорити; якщо налаштувати занадто агресивно, агент перебиватиме вас; занадто м'яко — він буде незграбно мовчати. Обробка перехоплення ініціативи вимагає, щоб фрагменти TTS можна було скасовувати під час відтворення, інакше агент продовжуватиме говорити поверх вас. Обидва питання належать до рівня оркестратора.

Якщо ваш стек потребує більше 1,2 секунди для відповіді, ваші користувачі вже вважають, що він не працює.

Голосовий ШІ-агент проти IVR, чат-бота та голосового асистента

Ці чотири поняття постійно плутають. Голосовий ШІ-агент веде відкриті розмови голосом у реальному часі з використанням інструментів. IVR — це лінійне телефонне меню. Чат-бот працює лише з текстом. Голосовий асистент, як-от Alexa або Siri, обробляє короткі одноразові голосові команди. Відмінності полягають у модальності введення, інтелекті, режимі реального часу та тому, що саме замінює кожен із них.

Справжня відмінність: голосові агенти — єдині з четвірки, хто веде розгорнуту багатокрокову голосову розмову в реальному часі з використанням інструментів. IVR — це меню. Чат-бот — це текстове вікно. Голосовий асистент відповідає на команди. Голосовий агент веде розмову.

Чи є Alexa голосовим ШІ-агентом?

Ні. Голосові асистенти, такі як Alexa, Siri та Google Assistant, є двигунами команд з одним кроком у закритій екосистемі. Вони оптимізовані для «встановити таймер на 10 хвилин», а не для «узгодження вікна доставки з підрядником із переглядом історії замовлень». Інша проблема, інший стек.

Для чого використовують голосові ШІ-агенти

Голосові агенти виправдовують себе у чотирьох категоріях дзвінків з високим обсягом: вхідна підтримка (відхилення FAQ, пошук замовлень, скидання паролів), вихідні продажі та кваліфікація (призначення зустрічей, кваліфікація лідів, очищення списків), планування зустрічей (пошук у календарі, перенесення, підтвердження) та опитування й подальший супровід (дзвінки NPS, утримання клієнтів, збір відгуків). Патерн один і той самий: великий обсяг дзвінків, вузький діапазон намірів, вирішення через інструменти.

Вхідна підтримка. Це найлегша перемога. Агенти цілий день відповідають на ті самі 20 запитань, перевіряють статус замовлення, скидають пароль і передають дійсно складні випадки людині. Математика працює, оскільки дзвінки першої лінії становлять 60–80% вхідного трафіку в більшості контакт-центрів, згідно з даними McKinsey про автоматизацію контакт-центрів.

Вихідні продажі та кваліфікація. Призначення зустрічей, кваліфікація лідів і очищення списків. Тут compliance стає складним: вихідні голосові дзвінки в США регулюються TCPA (правила згоди), A2P 10DLC (SMS-мости) та STIR/SHAKEN (атестація ID абонента). Це не місце для принципу «швидко запускай і ламай». Якщо вам цікавий ширший ландшафт інструментів ШІ для голосу та відео, є суміжний гайд.

Планування зустрічей. Мабуть, найчистіший випадок використання. Агент читає ваш календар Cal.com або Acuity через виклик інструменту, пропонує три найближчі слоти, бронює один і надсилає підтвердження. Медицина, салони, стоматологія, автосервіси — будь-де, де бронювання відбувається по телефону. Якщо у вас ресторан, ось як це працює саме в цій ніші: бронювання, скасування та лист очікування через одного агента.

Опитування та пост-дзвінковий супровід. Вихідні дзвінки NPS, збір відгуків, утримання клієнтів. Менші ризики, нижчі вимоги до compliance (відносини з наявними клієнтами зазвичай покривають згоду) і легше виміряти успіх.

Чи може це справді замінити мою службу підтримки?

Коротка відповідь: ні, і будь-хто, хто продає вам таке, продає повітря. Голосові агенти не замінюють вашу команду, вони перехоплюють 60–80% дзвінків, які не потребують людини, щоб люди могли займатися роботою, яка дійсно вимагає людської участі.

Чим НЕ є голосові ШІ-агенти (4 помилкові уявлення, які руйнують проєкти)

Більшість невдалих проєктів із голосовими агентами провалюються через одне з чотирьох хибних припущень: що це просто чат-бот із мікрофоном, що LLM — це магія, що це автоматично дешевше за людей, або що це замінить всю вашу команду. Кожне з цих припущень ламає проєкт на різному етапі: архітектурі, очікуваннях, ROI-математиці або управлінні змінами. Давайте виправимо кожне з них.

Помилкове уявлення 1: Це чат-бот із мікрофоном

Аудіо в реальному часі — це інша інженерна дисципліна. Визначення кінця мовлення, перехоплення ініціативи, просодія, управління буфером потокової передачі та обробка джиттеру якості SIP не існують у світі чат-ботів. Команда, яка запускає робочий текстовий чат-бот за два тижні, витратить два місяці, щоб голосовий агент відчувався природним. Ставлення до голосового агента як до чат-бота з мікрофоном — найшвидший спосіб запустити щось, на що користувачі будуть класти слухавку.

Помилкове уявлення 2: Це магія

Ні. Це GPT-4o (або Claude, або Gemini), загорнуте в голосову інфраструктуру. Ті самі галюцинації, ті самі обмеження контекстного вікна, ті самі ризики ін'єкції промптів, тепер у аудіоформаті, який важче логувати та перевіряти. «Магія» полягає в інженерному клеї, а не в моделі.

Помилкове уявлення 3: Це завжди дешевше за людей

За дуже низьких обсягів дзвінків, скажімо, менше 500 на місяць, вартість за хвилину плюс інвестиції в налаштування зазвичай перевищують вартість працівника на пів ставки або хорошого чат-бота. Математика сукупної вартості володіння (TCO) працює лише на великих обсягах. Якщо ви оцінюєте це для свого бізнесу, чи є це взагалі правильним кроком для вашого бізнесу розглядає економіку першого року з реальними цифрами.

Помилкове уявлення 4: Це замінить всю вашу команду

Ні. Це шар відхилення для трафіку першої лінії. Люди, яких ви залишаєте, обробляють ескалації, розлючених абонентів, складні випадки та ситуації, де важливі емпатія та судження. Плануйте таку організаційну структуру з першого дня, інакше ви отримаєте стек, який працює, і команду, яка нещасна.

Коли НЕ варто впроваджувати голосового ШІ-агента (чесні обмеження)

Існує п'ять сценаріїв, де голосовий агент є неправильним інструментом: емоційні або делікатні дзвінки (сповіщення про смерть, повідомлення поганих медичних новин, гарячі лінії кризи), низький обсяг дзвінків (менше ~500 дзвінків/місяць, де TCO налаштування перевищує економію), сильно регульовані робочі процеси без зрілості compliance, операції з багатьма акцентами або мовами з низьким ресурсом даних, а також будь-який робочий процес, який дійсно потребує візуального контексту. Впровадження в неправильному сценарії відкине проєкт на шість місяців назад.

1. Емоційні, делікатні або високоризикові дзвінки. Сповіщення про втрату, повідомлення поганих медичних новин, гарячі лінії психологічної допомоги, первинний прийом у психіатрії. Навіть найсучасніша просодія TTS ще не досягла потрібного рівня, а репутаційні втрати від одного невдалого дзвінка тут колосальні. Тільки люди.

2. Обсяг менше 500 дзвінків на місяць. Налаштування, конфігурація, тюнінг промптів і вартість за хвилину зазвичай не окупаються при кількості менше кількох сотень дзвінків на місяць. Використовуйте людину, чат-бот або поверніться до цього питання за більших обсягів. Якщо ви вагаєтеся, чи варто будувати власне рішення, купувати SaaS або наймати агентство розкладає рішення по поличках.

3. Сильно регульовані робочі процеси без ресурсів compliance. Вихідні голосові дзвінки в США підпадають під TCPA (згода), A2P 10DLC (SMS-мости) та STIR/SHAKEN / ATIS-1000074 (атестація ID абонента). Медицина додає HIPAA, дзвінки в ЄС — GDPR. Якщо у вас немає юридичних ресурсів і ресурсів compliance, не запускайте вихідні голосові дзвінки поки що.

4. Операції з багатьма акцентами або мовами з низьким ресурсом. Рівень помилок розпізнавання слів (WER) у STT стрімко зростає понад 15% для нестандартних акцентів і багатьох малоресурсних мов, згідно з Hugging Face Open ASR Leaderboard. Продуктивна точність вимагає налаштування під конкретний акцент, якого більшість платформ ще не пропонують.

5. Візуальні робочі процеси або спільний доступ до екрана. Будь-що, де користувачеві потрібно бачити щось: навігація в інтерфейсі, перегляд документа, візуальне порівняння варіантів. Голос тут — неправильна модальність. Найшвидший спосіб втратити довіру до впровадження голосового агента — розгорнути його на типі дзвінків, які люди все ще мають обробляти самі.

Стек голосових ШІ-агентів 2026 року (огляд)

Стек голосових агентів 2026 року став не розумнішим рік від року, а швидшим. Час до першого аудіо в TTS менше 100 мс тепер є стандартом, потокове STT з діаризацією — обов'язкова база, а моделі speech-to-speech, такі як OpenAI Realtime та Gemini Live, починають згортати каскадний конвеєр в одну модель. Продуктивні команди все ще переважно використовують каскадні стеки заради контролю та передбачуваності витрат.

STT у 2026 році. NVIDIA Canary Qwen 2.5B лідирує в Open ASR Leaderboard із середнім WER менше 7%; Kimi-Audio повідомляє про WER 1,28% на LibriSpeech clean. Deepgram Nova-3 та AssemblyAI Universal-2 є виробничими стандартами за замовчуванням: обидва підтримують потокову передачу, діаризацію та досить добре визначають кінець мовлення «з коробки».

LLM у 2026 році. GPT-4o, Claude 4 та Gemini 2.0 підтримують виклик функцій виробничого рівня зі стабільною затримкою. Моделі speech-to-speech (OpenAI Realtime, Gemini Live) повністю пропускають рівні STT і TTS, забезпечуючи нижчу затримку та природнішу просодію, але дають менше контролю над структурою виклику інструментів і коштують дорожче за хвилину. Каскадний підхід залишається стандартом для продуктивного середовища.

TTS у 2026 році. ElevenLabs Flash і Turbo, Cartesia Sonic (час до першого байта менше 100 мс), OpenAI TMS та Deepgram Aura. Саме потоковий TTS із фрагментами, які можна скасувати, робить перехоплення ініціативи природним. Стек 2026 року став не розумнішим, а швидшим. Саме час до першого аудіо в TTS менше 100 мс дозволяє голосовим агентам нарешті відчуватися як справжня розмова.

Оркестратори у 2026 році. Retell, Vapi, Bland, LiveKit Agents, OpenAI Realtime та open-source Pipecat. Кожен робить різний компроміс між BYOK (bring your own key) та bundled-рішеннями, оптимізацією затримки та широтою функцій, OSS та керованими сервісами. Для порівняння трьох найпопулярніших оркестраторів наша стаття заглиблюється в деталі. А якщо ви оцінюєте бюджет, скільки насправді коштує такий стек у 2026 році зазвичай становить $0,05–0,30 за хвилину залежно від обраних моделей.

Як Techsy підходить до цього

Ми створювали голосових агентів на базі Retell, Vapi та OpenAI Realtime для продуктивних навантажень: планування, відхилення запитів підтримки, вихідна кваліфікація. Фреймворк у цій статті базується на тому, що ми дійсно засвоїли, запускаючи їх, а не на тезах постачальників. Вибір платформи повністю залежить від випадку використання. BYOK плюс тісний контроль затримки схиляють до одного стека; найшвидший запуск пілотного проєкту — до іншого; OSS із власним оркеструванням — до третього. Ми не обираємо переможця тут, тому що правильна відповідь змінюється від проєкту до проєкту. Якщо ви хочете оцінити розробку під ваш конкретний обсяг дзвінків, вимоги compliance та наявну CRM, наша команда може оцінити голосового агента з урахуванням ваших реальних обмежень.

Поширені запитання

Як працюють голосові ШІ-агенти?

Вони пропускають аудіо через п'ять рівнів: телефонія передає дзвінок всередину й назовні, STT транскрибує мовлення в текст у реальному часі, LLM із викликом інструментів вирішує, що сказати та які API використовувати, TTS синтезує відповідь як потокове аудіо, а оркестратор керує чергуванням реплік, перериваннями та станом. Весь цикл має завершитися значно швидше ніж за 1,2 секунди.

Чи можуть голосові ШІ-агенти замінити людських агентів?

Ні, і ставтеся з підозрою до будь-кого, хто стверджує протилежне. Голосові агенти відхиляють 40–80% дзвінків, які слідують передбачуваним шаблонам: FAQ, пошук інформації, просте планування, щоб людські агенти могли зосередитися на складних, емоційних або високоцінних дзвінках. Реалістичний результат — менша, але краще оплачувана команда, яка обробляє випадки, що дійсно потребують людини, а не порожній контакт-центр.

Чи законно використовувати голосового ШІ-агента?

Це залежить від юрисдикції та напрямку дзвінка. Вхідні голосові агенти, які відповідають на дзвінки ваших власних клієнтів, зазвичай допустимі. Вихідні голосові дзвінки в США регулюються TCPA (згода), A2P 10DLC (SMS-мости) та STIR/SHAKEN (атестація ID абонента). Дзвінки в ЄС додають GDPR. Медицина додає HIPAA. Завжди консультуйтеся зі своєю юридичною командою, це не є юридичною порадою.

Чим голосовий ШІ-агент відрізняється від чат-бота?

Чат-бот працює лише з текстом і терпить повільні відповіді; користувачі готові чекати дві-три секунди на друковану відповідь. Голосовий агент має відповісти менш ніж за 700 мс, обробляти переривання, керувати аудіобуфером і працювати з просодією. Базова LLM часто ідентична, але інженерія навколо неї абсолютно інша.

Скільки коштує голосовий ШІ-агент?

Продуктивні стеки зазвичай коштують $0,05–0,30 за хвилину, плюс одноразова вартість налаштування, яка сильно варіюється залежно від складності випадку використання. Варіативність залежить від того, яку LLM ви використовуєте, якого постачальника TTS обрали та чи використовуєте ви власні ключі. Для реального розподілу вартості за хвилину за стеком див. статтю про ціноутворення, наведені тут цифри є ілюстративними.

Якої затримки слід очікувати?

Добре побудований сучасний стек забезпечує затримку від 600 мс до 1,2 секунди end-to-end, причому час до першого токена LLM є найбільшою змінною. Понад 1,2 секунди різко зростає відтік, користувачі починають говорити поверх агента або кладуть слухавку. Основні важелі для дотримання бюджету — потоковий TTS та агресивне налаштування визначення кінця мовлення.

Як створити такого агента?

На високому рівні: виберіть оркестратор (Retell, Vapi, Bland, LiveKit Agents або OpenAI Realtime), підключіть його до LLM та ваших інструментів і прив'яжіть до телефонного номера через Twilio або вбудовану телефонію оркестратора. Налаштуйте пороги STT, TTS та визначення кінця мовлення, потім ітеративно вдосконалюйте промпти. Порівняння оркестраторів охоплює відмінності платформ.

Чи варто будувати власне рішення чи купувати SaaS-агента?

Залежить від обсягу, потреб у кастомізації та статусу compliance. Низькі обсяги та стандартні випадки використання схиляють до SaaS. Великі обсяги, індивідуальні робочі процеси або суворі середовища compliance часто схиляють до власної розробки або гібридного стека. Повна структура прийняття рішення з економікою першого року є в гайді build-vs-buy.

Підсумки

Три головні висновки. По-перше, голосовий агент — це конвеєр потокової передачі в реальному часі з п'ятьма рівнями та бюджетом менше 700 мс, а не чат-бот із прикрученим аудіо. По-друге, справжня цінність не в заміні вашої команди, а в перехопленні 60–80% дзвінків, які не потребують людини, щоб ваші співробітники могли займатися роботою, яка дійсно вимагає людської участі. По-третє, спочатку налаштуйте бази (бюджет затримки, чесні обмеження, compliance), перш ніж вдаватися до складних речей, як-от кастомні голоси або графи виклику функцій із 12 інструментами.

Якщо ви намагаєтеся зрозуміти, чи підходить голосовий агент вашому бізнесу, наша команда будує їх на вищезгаданих платформах. Обговоріть свій випадок із нами, без демонстраційних марафонів, лише чесна розмова про масштабування.