Forfatter

Mert Batur

Co-Founder, Techsy.io

Artikler av Mert Batur

236 artikler

  1. Slik måler du ROI på AI-integrasjon: En kalkulator som fungerer

    · 12 min lesning lesing

    MIT NANDA fant at 95 % av generative AI-prosjekter gir null målbar verdi. Denne kalkulatoren, ROI-formelen og det 12 måneders regneeksemplet viser hvordan du måler ROI på AI-integrasjon, finner tilbakebetalingsmåneden og beviser gevinsten for en CFO.

  2. Beste Open Source LLM-evalueringsrammeverk i 2026 (ett er faktisk ikke open source)

    · 16 min lesing lesing

    Vi leste lisensfilen og commit-loggen på hovedgrenen til åtte open source LLM-evalueringsrammeverk 2026-08-04, og installerte deretter seks av dem og kjørte de samme 10 testene gjennom hver. Ett bruker en lisens OSI ikke godkjenner, to har ikke sluppet en release siden 2024, og to relevans-metrikker ga en selvsikker løgn høyere score enn et korrekt svar.

  3. Beste praksis for agent tool calling: Derfor velger agenten din feil verktøy

    · 14 min lesning lesing

    Agenten din velger feil verktøy fordi feilen bor på fire bestemte steder: valg, argumenter, løkker og svarstørrelse. Denne guiden diagnostiserer hver feilmodus først og kobler deretter åtte beste praksiser for agent tool calling til dem, med kode, skjemaer og en evalueringsløkke du kan kjøre på hver endring.

  4. RAG vs finjustering: Når bør du bruke hva? (Med ekte tall)

    · 14 minutters lesning lesing

    RAG gjenfinner fakta på spørringstid. Finjustering baker kunnskap inn i modellvektene. En arXiv-studie med 162 siteringer kjørte begge på samme oppgave, og vinneren overrasker de fleste team. Her er beslutningsrammeverket med ekte kostnadsregning på offentlige listepriser.

  5. Flerturns LLM-evaluering: 5 metrikker, 3 rammeverk, 1 arbeidsflyt

    · 14 min lesning lesing

    En chatbot kan bestå hver enkeltturns-test og likevel be brukeren om informasjon de ga for tre runder siden. Denne guiden dekker de 5 flerturns-metrikker som fanger samtalefeil, hvordan DeepEval, RAGAS og Langfuse skiller seg fra hverandre, og 6-trinns arbeidsflyten for å fange regresjoner i CI.

  6. LLM-logging beste praksis: 9 regler vi følger i produksjon [2026]

    · 14 min lesning lesing

    Ni regler for LLM-logging fra et team som kjører dette i produksjon: strukturerte JSON-poster med 14 navngitte felter, PII-maskering før skriving, OpenTelemetry GenAI-spor og kostnadssporing per forespørsel. Inkluderer Python-koden, lagringskostnad-regnestykket ved 1M forespørsler om dagen og verktøysammenligningen.

  7. Online vs offline LLM-evaluering: Hvilken du trenger (og når)

    · 10 min lesning lesing

    Offline-evalueringer vokter deployene dine; online-evalueringer overvåker det som shipper. En 9-dimensjoners sammenligning, en ekte CI-gate-konfig, en verktøy-til-modus-matrise og tilbakemeldingsløkken som gjør produksjonsfeil om til regresjonstester.

  8. Hva koster LLM-inferens? En gjennomgang av 4 scenarier med ekte utregninger

    · 13 min lesning lesing

    Kostnaden for LLM-inferens ligger mellom $0.02 og $75 per million tokens, avhengig av modellnivå. Vi har bygget 4 kostnadsmodeller for ulike arbeidslaster basert på prisene fra juli 2026, slik at du kan beregne månedskostnaden før du binder deg til en leverandør.

  9. Bygge verktøy for AI-agenter, med evalueringer som beviser at de virker

    · 15 min lesning lesing

    Et verktøy er en kontrakt mellom den deterministiske koden din og en ikke-deterministisk modell. Syv designprinsipper, bygg-eller-kjøp-vurderingen, MCP-servering, sikkerhet på verktøynivå og evalueringsløkken som beviser at agentverktøyene dine virker.