Wat Is een AI Spraakagent? De 5-Laagse Stack Achter Elk Echt Telefoongesprek (2026)

Wat Is een AI Spraakagent? De 5-Laagse Stack Achter Elk Echt Telefoongesprek (2026)

Een AI spraakagent is software die in real-time een gesproken gesprek voert — via de telefoon, in een browser of in een app — door spraakherkenning, een taalmodel en synthetische stem aan elkaar te koppelen. Belde je de laatste tijd een bank en beantwoordde de robot opeens je vervolgvragen als een echte medewerker in plaats van "druk 1 voor facturering" te roepen? Dat is een spraakagent, geen oud IVR-systeem. We hebben de afgelopen 18 maanden spraakagenten gebouwd op Retell, Vapi en OpenAI Realtime — dit is wat we uit de praktijk hebben geleerd, geen vendormarketingtaal.

Kort antwoord:

• Een AI spraakagent is software die in real-time een telefoon- of webbrowsergesprek voert via STT, een LLM en TTS.
• Het verschilt van IVR (geen keuzemenu's), chatbots (tekst-only) en spraakassistenten (losse commando's).
• Real-time aanvoelen vereist dat je onder een responsbudget van ~700ms blijft over spraak-naar-tekst, LLM en tekst-naar-spraak samen.
• De meeste productiespraakagenten in 2026 draaien op streamingpipelines zoals OpenAI Realtime, Deepgram Voice Agent, Retell of Vapi.

Wat Is een AI Spraakagent?

Een AI spraakagent is software die in real-time een gesproken gesprek voert met een persoon. Het luistert naar audio, converteert spraak naar tekst via speech-to-text (STT), stuurt die tekst naar een large language model (LLM) dat beslist wat er gezegd wordt en welke tools er aangeroepen worden, en zet het antwoord vervolgens terug om naar audio via text-to-speech (TTS). De hele lus loopt continu, met beurtneming, interruptieafhandeling en de mogelijkheid om midden in een gesprek echte API-calls te doen.

Dat laatste is waar spraakagenten hun naam verdienen. Ze praten niet alleen — ze doen dingen. Stel je voor: je belt om een afspraak te verzetten. De agent zegt: "Tuurlijk, welke dag schikt jou?" Je antwoordt. Het pingt je kalender-API, zoekt beschikbare tijdslots, leest ze voor, boekt de slot die je kiest en stuurt je een sms-bevestiging. Dat zijn vier tool calls binnen één gesprek van 90 seconden.

De vier kerncompetenties om in je hoofd te houden:

1. Luisteren in real-time — gedeeltelijke transcripties komen al binnen terwijl je nog aan het spreken bent, niet pas nadat je stopt.
2. Intentie begrijpen — het LLM parseert wat je écht wilt, niet alleen losse trefwoorden.
3. Reageren via stem — natuurlijke prosodie, pauzes en de mogelijkheid om midden in een zin onderbroken te worden.
4. Acties uitvoeren — function calls naar je CRM, agenda, boekingssysteem of alles wat een API heeft.

Een AI spraakagent is geen chatbot met een microfoon — het is een real-time pipeline die moet luisteren, nadenken en spreken binnen de tijd die een mens wacht voordat hij ongemakkelijk wordt. En die tijd is verrassend kort. Meer daarover zo meteen.

Hoe AI Spraakagenten Echt Werken: De 5-Laagse Stack

Een productie-AI-spraakagent draait op vijf lagen: telefonie stuurt audio heen en weer, STT zet spraak om in tekst, een LLM met tool calling beslist het antwoord en eventuele acties, TTS zet het antwoord terug om naar stem, en een orchestrator dirigeert de hele pipeline — beurtneming, streaming, interruptie en state. Elke laag is een apart model of dienst, in een race tegen een klok van 700ms.

Dit is elke laag, in de volgorde waarin audio stroomt:

1. Telefonie / transport — Twilio, Telnyx, SIP-trunks of WebRTC. Dit is de saaie-maar-cruciale laag die een telefoongesprek (of browseraudio) je stack binnenbrengt en weer naar de beller stuurt. Slechte codechoice of een rommelige SIP-route, en de rest van je prachtige pipeline klinkt als een Skype-gesprek uit 2007.
2. Speech-to-text (STT / ASR) — Deepgram Nova-3, AssemblyAI Universal-2, OpenAI Whisper, NVIDIA Canary Qwen 2.5B, Kimi-Audio. Deze zetten de streamingaudio om in tekst terwijl de gebruiker nog aan het praten is. Het moeilijke deel is niet de transcriptienauwkeurigheid — het is endpointing (beslissen wanneer de gebruiker klaar is met zijn gedachte).
3. LLM + tool calling — GPT-4o, Claude 4, Gemini 2.0. Dezelfde modellen die je overal gebruikt, nu met een strakkere latentiebudget en gestructureerde function-calling-schema's gericht op je CRM-opzoekactie, je boekings-API en je "doorverbinden naar een mens"-tool. De orchestrator bepaalt welke er aangeroepen wordt op basis van het gesprek.
4. Text-to-speech (TTS) — ElevenLabs Flash, Cartesia Sonic, OpenAI TTS, Deepgram Aura. De antwoordtekst stroomt token-voor-token binnen; TTS synthetiseert audio in stukken zodat de stem begint te spelen voordat het LLM zijn zin heeft afgemaakt.
5. Orchestrator — Retell, Vapi, Bland, LiveKit Agents, OpenAI Realtime of open-source Pipecat. De dirigent die tussen de vier lagen streamt, barge-in afhandelt (jij praten over de agent heen), herstelt van fouten en de gespreksstate bijhoudt. Als je een head-to-head wilt over welk orchestratorplatform het beste past, gaat de vergelijkingsgids daar dieper op in.

Een spraakagent is niet één model — het zijn vijf componenten in een race tegen een klok van 700ms.

Er zijn twee architectuurvarianten die je moet kennen: cascading (de bovenstaande 5-laagse pipeline, waarbij STT → LLM → TTS aparte modellen zijn) en end-to-end speech-to-speech (één model verwerkt audio in én audio out, zoals de OpenAI Realtime API). End-to-end is sneller en natuurlijker; cascading biedt meer controle en is goedkoper. De meeste productiestacks in 2026 zijn nog steeds cascading.

Wat Betekent "Streaming" Hier Precies?

Streaming is de sleutel. STT geeft elke paar honderd milliseconden gedeeltelijke transcripties, het LLM streamt tokens terwijl het ze genereert, en TTS synthetiseert audio in stukken die afgebroken kunnen worden als de gebruiker onderbreekt. Het resultaat voelt als een gesprek; zonder streaming voelt het als walkie-talkie.

Hier is een illustratieve agentconfiguratie (Retell/Vapi-stijl — exacte syntaxis verschilt per platform):

{
  "voice": { "provider": "cartesia", "voice_id": "sonic-en-female" },
  "stt": { "provider": "deepgram", "model": "nova-3", "language": "en" },
  "llm": { "provider": "openai", "model": "gpt-4o", "temperature": 0.3 },
  "tools": [
    { "name": "lookup_order", "url": "https://api.example.com/orders" },
    { "name": "book_slot", "url": "https://api.example.com/calendar/book" },
    { "name": "transfer_to_human" }
  ],
  "interruption_sensitivity": 0.7,
  "endpointing_ms": 400
}

Het 500-700ms Latentiebudget (En Waarom Je Het Voelt)

Mensen verwachten een antwoord binnen ongeveer 600-700 milliseconden in een normaal gesprek. Rek dat op tot meer dan een seconde en het gesprek voelt als een slecht mobiel signaal; voorbij 1,2 seconden beginnen gebruikers over de agent heen te praten of op te hangen. Daarom is spraakagentarchitectuur fundamenteel een latentieprobleem, geen intelligentieprobleem.

De budgetverdeling in een gezonde stack ziet er zo uit:

In onze builds is de LLM time-to-first-token de grootste variabele — we hebben hem zien schommelen van 200ms (GPT-4o op een goede dag) tot 2 volle seconden (groter contextvenster, koud model). Dat is ook waar het grootste deel van je kosten per minuut zit, en de echte kosten per minuut van deze stack hebben hun eigen verdieping.

Twee andere dingen knabbelen stil aan je budget. Endpointing is wanneer STT beslist dat de gebruiker klaar is met praten — te agressief instellen en de agent valt je in de rede; te laks en het systeem zit er ongemakkelijk bij te wachten. Barge-in afhandeling vereist dat TTS-stukken halverwege afgebroken kunnen worden, anders blijft de agent over je heen praten. Beide zijn orchestrator-niveau-kwesties.

Als je stack langer dan 1,2 seconden nodig heeft om te antwoorden, hebben je gebruikers al besloten dat het kapot is.

AI Spraakagent vs IVR vs Chatbot vs Spraakassistent

Deze vier worden voortdurend door elkaar gehaald. Een AI spraakagent voert open-ended, real-time gesprekken met tool gebruik. IVR is een lineair telefonisch keuzemenu. Een chatbot is tekst-only. Een spraakassistent zoals Alexa of Siri verwerkt korte, enkelvoudige stemcommando's. De verschillen zitten in invoermodaliteit, intelligentie, real-time-heid en wat elk vervangt.

Het echte onderscheid: spraakagenten zijn de enige van de vier die real-time, open-ended, meerbeurts stem met tool gebruik combineren. IVR is een menu. Een chatbot is een tekstvenster. Een spraakassistent beantwoordt commando's. Een spraakagent voert een gesprek.

Is Alexa dan een AI Spraakagent?

Nee. Spraakassistenten zoals Alexa, Siri en Google Assistant zijn enkelvoudige, walled-garden commandosystemen. Ze zijn geoptimaliseerd voor "zet een timer van 10 minuten", niet voor "onderhandel een leveringsvenster met mijn aannemer terwijl je mijn bestelgeschiedenis opzoekt." Ander probleem, andere stack.

Waarvoor Worden AI Spraakagenten Gebruikt

Spraakagenten verdienen hun waarde in vier hoogvolume-gesprekssoorten: inbound support (FAQ-deflectie, bestelstatus, wachtwoordresets), outbound sales en kwalificatie (afspraakplanning, leadkwalificatie, lijstopruiming), afspraakplanning (kalenderopzoekingen, verzetten, bevestigingen) en enquêtes en follow-ups (NPS-gesprekken, churn-rescue, feedbackverzameling). Het patroon is hetzelfde: hoog belvolume, beperkt intentiegebied, tool-gestuurde afhandeling.

Inbound support. Dit is de makkelijkste winst. Agenten beantwoorden de hele dag dezelfde 20 vragen, zoeken een bestelstatus op, resetten een wachtwoord en routeren het écht moeilijke naar een mens. De rekensom klopt omdat tier-1-gesprekken 60-80% van het inbound volume uitmaken in de meeste contactcentra, aldus McKinsey's contactcentrum-automatiseringsdata.

Outbound sales en kwalificatie. Afspraakplanning, leadkwalificatie en lijstopruiming. Dit is waar compliance lastig wordt — outbound voice in de VS valt onder TCPA (toestemmingsregels), A2P 10DLC (sms-bruggen) en STIR/SHAKEN (beller-ID-attestering). Niet een plek om snel te shippen en dingen te breken. Als je meer wilt weten over het bredere AI-spraak- en -videogereedschapslandschap, is er een aangrenzende gids.

Afspraakplanning. Waarschijnlijk de zuiverste use case. De agent leest je Cal.com- of Acuity-kalender via een tool call, biedt de volgende drie slots aan, boekt er één, stuurt een bevestiging. Gezondheidszorg, kappers, tandartsen, autoreparatie — overal waar boekingen telefonisch verlopen. Heb je een restaurant, dan zie je hier hoe het werkt in dat specifieke segment — reserveringen, annuleringen en wachtlijst op dezelfde agent.

Enquêtes en post-call follow-up. Outbound NPS-gesprekken, feedbackverzameling, churn-rescue. Lagere inzet, lagere compliancedrempel (bestaande klantrelatie dekt toestemming meestal af) en makkelijk te meten.

Kan Het Echt Mijn Supportteam Vervangen?

Kort antwoord: nee, en iedereen die je dat verkoopt, verkoopt lucht. Spraakagenten vervangen je team niet — ze vangen de 60-80% van de gesprekken op die geen mens nodig hebben, zodat de mensen het werk kunnen doen dat er écht eentje vereist.

Wat AI Spraakagenten NIET Zijn (4 Misvattingen Die Projecten Kelderen)

De meeste mislukte spraakagentprojecten mislukken door één van vier verkeerde aannames: dat het gewoon een chatbot is met een microfoon, dat het LLM magie is, dat het automatisch goedkoper is dan mensen, of dat het je hele team vervangt. Elk van deze breekt het project op een ander punt — architectuur, verwachtingsmanagement, ROI-rekening of verandermanagement. Laten we ze allemaal rechtzetten.

Misvatting 1: Het Is een Chatbot Met een Microfoon

Real-time audio is een ander technisch vakgebied. Endpointing, barge-in, prosodie, streaming-bufferbeheer en SIP-kwaliteits-jitter-afhandeling bestaan niet in chatbot-land. Een team dat een werkende tekstchatbot in twee weken shipt, besteedt twee maanden aan het laten aanvoelen van een spraakagent als iets natuurlijks. Een spraakagent behandelen als een chatbot met een microfoon is de snelste manier om iets te bouwen waar gebruikers op ophangen.

Misvatting 2: Het Is Magie

Dat is het niet. Het is GPT-4o (of Claude, of Gemini) ingepakt in stempijpleidingen. Dezelfde hallucinaties, dezelfde contextvensterlimieten, dezelfde prompt-injectierisico's — nu in audiovorm, wat moeilijker te loggen en te reviewen is. De "magie" zit in de engineeringlijm, niet in het model.

Misvatting 3: Het Is Altijd Goedkoper Dan Mensen

Bij een heel laag belvolume — zeg, onder de 500 gesprekken per maand — overstijgen de kosten per minuut plus de setupinvestering doorgaans de kosten van een parttime medewerker of een goede chatbot. De TCO-rekening klopt pas op volume. Als je dit wilt inschatten voor je eigen bedrijf, bespreekt of het überhaupt de juiste stap is voor jouw bedrijf de Jaar-1-economie met echte cijfers.

Misvatting 4: Het Vervangt Je Hele Team

Dat doet het niet. Het is een deflectielaag voor tier-1-verkeer. De mensen die je houdt, behandelen de escalaties, de boze bellers, de complexe gevallen en de situaties waarbij empathie en oordeelsvermogen tellen. Plan die organisatiestructuur vanaf dag één — anders bouw je een stack die werkt en een team dat ongelukkig is.

Wanneer Je GEEN AI Spraakagent Moet Inzetten (Eerlijke Grenzen)

Er zijn vijf scenario's waarbij een spraakagent het verkeerde gereedschap is: emotionele of gevoelige gesprekken (rouwmeldingen, slecht medisch nieuws, crisislijnen), laag belvolume (onder ~500 gesprekken/maand waar setup-TCO de besparingen overstijgt), zwaar gereguleerde workflows zonder compliance-volwassenheid, multi-accent of low-resource taaloperaties, en workflows die visuele context echt nodig hebben. Ship je in het verkeerde scenario en je zet het project zes maanden terug.

1. Emotionele, gevoelige of hoogrisicogesprekken. Rouwmeldingen, slecht medisch nieuws, crisislijnen, intakegesprekken voor geestelijke gezondheidszorg. Zelfs de beste TTS-prosodie van dit moment is er nog niet klaar voor, en de merkschade van één misgelopen gesprek is enorm. Alleen mensen.

2. Minder dan 500 gesprekken per maand. Setup, configuratie, promptafstemming en kosten per minuut zijn doorgaans niet rendabel bij een paar honderd gesprekken per maand. Gebruik een mens, gebruik een chatbot, of heroverweeg bij hogere volumes. Als je opties afweegt, zet bouwen, SaaS kopen of een bureau inschakelen de beslissing uiteen.

3. Zwaar gereguleerde workflows zonder compliancebudget. Outbound voice in de VS valt onder TCPA (toestemming), A2P 10DLC (sms-bruggen) en STIR/SHAKEN / ATIS-1000074 (beller-ID-attestering). Zorg in de EU voor AVG-compliance. Gezondheidszorg voegt HIPAA toe. Als je geen juridische en compliancemiddelen hebt, ship outbound voice nog niet.

4. Multi-accent of low-resource taaloperaties. Het woordfoutenpercentage (WER) van STT schiet boven de 15% uit bij niet-mainstream accenten en veel low-resource talen, aldus het Hugging Face Open ASR Leaderboard. Productiewaardige nauwkeurigheid vereist accentspecifieke afstemming, die de meeste platforms nog niet bieden.

5. Visuele of schermdeelworkflows. Alles waarbij de gebruiker iets moet zien — een UI doorlopen, een document bekijken, opties visueel vergelijken — is spraak de verkeerde modaliteit. De snelste manier om vertrouwen in een spraakagentimplementatie te verliezen, is het inzetten op een gesprekstype waarbij mensen het beter afhandelen.

De AI Spraakagentstack van 2026 (In één Oogopslag)

De spraakagentstack van 2026 werd niet slimmer van jaar tot jaar — hij werd sneller. Sub-100ms TTS time-to-first-audio is nu standaard, streaming STT met diarisatie is de basis, en speech-to-speech modellen zoals OpenAI Realtime en Gemini Live beginnen de cascadingpipeline samen te vouwen in één model. Productieteams draaien nog steeds grotendeels cascadingstacks vanwege controle en kostenvoorspelbaarheid.

STT in 2026. NVIDIA Canary Qwen 2.5B leidt het Open ASR Leaderboard met gemiddeld onder de 7% WER; Kimi-Audio meldt 1,28% WER op LibriSpeech clean. Deepgram Nova-3 en AssemblyAI Universal-2 zijn de productiestandaarden — beide streamen, diariseren en doen endpointing redelijk goed out-of-the-box.

LLM in 2026. GPT-4o, Claude 4 en Gemini 2.0 ondersteunen allemaal productieklare function calling met stabiele latentie. Speech-to-speech-modellen (OpenAI Realtime, Gemini Live) slaan de STT- en TTS-lagen volledig over — lagere latentie, natuurlijkere prosodie, maar minder controle over de tool-call-structuur en duurder per minuut. Cascading is nog steeds de productiestandaard.

TTS in 2026. ElevenLabs Flash en Turbo, Cartesia Sonic (sub-100ms time-to-first-byte), OpenAI TTS en Deepgram Aura. Streaming TTS met afbreekbare stukken is wat barge-in natuurlijk laat aanvoelen. De stack van 2026 werd niet slimmer — hij werd sneller. Sub-100ms TTS time-to-first-audio is wat spraakagenten eindelijk aanvoelen als een echt gesprek.

Orchestrators in 2026. Retell, Vapi, Bland, LiveKit Agents, OpenAI Realtime en open-source Pipecat. Elke maakt andere afwegingen — BYOK versus gebundeld, latentieoptimalisatie versus functiebreedte, OSS versus managed. Voor een head-to-head van de drie meest populaire orchestrators gaat de vergelijkingsgids dieper. En als je een budget opmaakt, wat een stack als deze in 2026 echt kost loopt typisch tussen de $0,05-0,30/minuut, afhankelijk van welke modellen je kiest.

Hoe Techsy Dit Aanpakt

We hebben spraakagenten gebouwd op Retell, Vapi en OpenAI Realtime voor productiewerklasten — planning, supportdeflectie, outbound kwalificatie — en het kader in dit artikel is wat we écht hebben geleerd tijdens het bouwen ervan, geen verkooppraatjes. Platformkeuze hangt volledig af van de use case. BYOK plus strakke latentiecontrole begunstigt de ene stack; snelste time-to-pilot begunstigt een andere; OSS-met-eigen-orchestratie begunstigt een derde. We kiezen hier geen winnaar omdat het juiste antwoord per project verandert. Als je een build wilt die is afgestemd op je specifieke belvolume, compliancebehoeften en bestaand CRM, kan ons team een spraakagent voor je uitwerken op basis van jouw echte randvoorwaarden.

Veelgestelde Vragen

Hoe werken AI spraakagenten?

Ze streamen audio door vijf lagen: telefonie stuurt het gesprek heen en weer, STT transcribeert spraak naar tekst in real-time, een LLM met tool calling beslist wat er gezegd wordt en welke API's er aangeraakt worden, TTS synthetiseert het antwoord als streamingaudio, en een orchestrator beheert beurtneming, interruptie en state. De hele lus moet in ruim onder de 1,2 seconden klaar zijn.

Kunnen AI spraakagenten menselijke agenten vervangen?

Nee, en behandel iedereen die het tegenovergestelde beweert met scepsis. Spraakagenten deflecteren de 40-80% van de gesprekken die voorspelbare patronen volgen — FAQ's, opzoekingen, eenvoudige planning — zodat menselijke agenten zich kunnen richten op complexe, emotionele of hoogwaardige gesprekken. Het realistische resultaat is een kleiner, beter betaald team dat de gevallen behandelt die écht een mens nodig hebben, geen leeg contactcentrum.

Is het gebruik van een AI spraakagent legaal?

Het hangt af van jurisdictie en richting. Inbound spraakagenten die de gesprekken van je eigen klanten beantwoorden zijn over het algemeen prima. Outbound voice in de VS wordt geregeld door TCPA (toestemming), A2P 10DLC (sms-bruggen) en STIR/SHAKEN (beller-ID-attestering). EU-gesprekken voegen AVG toe. Gezondheidszorg voegt HIPAA toe. Controleer altijd bij je juridisch team — dit is geen juridisch advies.

Wat is het verschil tussen een AI spraakagent en een chatbot?

Een chatbot is tekst-only en verdraagt langzame reacties; gebruikers wachten twee of drie seconden op een getypt antwoord. Een spraakagent moet reageren binnen 700ms, interrupties afhandelen, audiobuffering beheren en prosodie verwerken. Het onderliggende LLM is vaak identiek — de engineering eromheen is compleet anders.

Hoeveel kost een AI spraakagent?

Productiestacks komen doorgaans uit op $0,05-0,30 per minuut, plus eenmalige setupkosten die sterk variëren met de complexiteit van de use case. De variatie komt van welk LLM je gebruikt, welke TTS-provider en of je je eigen sleutels meebrengt. Voor de echte kostenontwikkeling per stack, zie de prijzengids — de cijfers hier zijn indicatief.

Welke latentie mag ik verwachten?

Een goed gebouwde moderne stack haalt 600ms tot 1,2 seconden end-to-end, waarbij de LLM's time-to-first-token de grootste variabele is. Boven de 1,2 seconden neemt het uitvalpercentage sterk toe — gebruikers beginnen over de agent heen te praten of hangen op. Streaming TTS en agressieve endpointing-afstemming zijn de belangrijkste knoppen om binnen budget te blijven.

Hoe bouw ik er één?

Op hoofdlijnen: kies een orchestrator (Retell, Vapi, Bland, LiveKit Agents of OpenAI Realtime), koppel het aan een LLM en je tools, en wijs het een telefoonnummer toe via Twilio of de ingebouwde telefonie van de orchestrator. Configureer STT, TTS en endpointingdrempels en werk dan iteratief aan prompts. De head-to-head orchestratevergelijking behandelt de platformspecifieke verschillen.

Moet ik mijn eigen bouwen of een SaaS-spraakagent kopen?

Hangt af van volume, aanpassingsbehoeften en compliancehouding. Laag volume en standaard use cases kiezen voor SaaS. Hoog volume, maatwerksworkflows of strenge complianceomgevingen kiezen vaak voor een eigen build of hybride stack. Het volledige beslissingsraamwerk met Jaar-1-economie staat in de bouwen-of-kopen-gids.

Conclusie

Drie dingen om mee te nemen. Een: een spraakagent is een real-time streamingpipeline — vijf lagen, sub-700ms budget — geen chatbot met audio erbij geplakt. Twee: de echte waarde is niet je team vervangen; het is de 60-80% van de gesprekken opvangen die geen mens nodig hebben zodat je mensen werk kunnen doen dat er écht een vereist. Drie: doe de basis goed (latentiebudget, eerlijke grenzen, compliance) voordat je ingewikkeld wordt met custom stemmen of function-calling-grafieken met 12 tools.

Als je wilt uitzoeken of een spraakagent bij jouw bedrijf past, bouwt ons team ze op de bovenstaande platformen. Praat met ons over jouw use case — geen demotredmolen, gewoon een eerlijk gesprek over de scope.