Онлайн vs офлайн оцінка LLM: яка потрібна і коли
Онлайн vs офлайн оцінка LLM — це одне рішення, а не два, і наш набір тестів у promptfoo довів це минулого вівторка: один переписаний системний промпт, 47 тестових кейсів, вірність впала з 0,91 до 0,74 приблизно за 90 секунд CI-часу. Офлайн-перевірка впіймала ту регресію ще до мержу; моніторинг у продакшні зустрів би її пізніше, замасковану під тикет у підтримку. Офлайн чи онлайн, вердикт той самий: дві смуги, різні задачі.
Офлайн-оцінка LLM проганяє модель на фіксованому датасеті до розгортання і доводить, що зміна не зламала вимірювану якість. Онлайн-оцінка скорить живий трафік продакшну після релізу і виявляє те, чого датасет ніколи не містив. Більшості команд потрібні обидві, причому послідовно: офлайн гейтить розгортання, онлайн ловить дрейф.
Ключові висновки
- Офлайн-оцінка проганяється на фіксованому датасеті до розгортання; онлайн-оцінка скорить живий трафік після релізу.
- Більшості команд потрібні обидві: офлайн гейтить розгортання, онлайн ловить те, що пропустив датасет.
- Офлайн ловить регресії промптів і поломки формату; онлайн ловить дрейф, затримки під навантаженням та інтеграційні сюрпризи.
- Підключайте офлайн-евали як CI-гейт мержу; стримте онлайн-оцінки з продакшн-трейсів у свій набір евалів.
Чим насправді відрізняються онлайн- і офлайн-оцінка? (9 вимірів)
Два режими відрізняються за дев'ятьма осями, але вирішальна з них це джерело даних: офлайн-оцінка скорить фіксований версіонований датасет до розгортання, тоді як онлайн-оцінка скорить живий трафік після релізу. Усі інші відмінності (вартість, затримка, ризик, governance) випливають із цього поділу.
Навчальний центр Label Studio описує цю пару як комплементарні режими, а не суперників, і ми згодні. Таблиця нижче розширює цей підхід LLM-специфічними метриками, які їхня узагальнена ML-версія не покриває.
| Вимір | Офлайн | Онлайн |
|---|---|---|
| Джерело даних | Фіксований золотий датасет, версіонується в git | Живі продакшн-трейси, семплуються |
| Таймінг | До розгортання, на кожен PR | Після релізу, безперервно |
| Вартість прогону | Токени судді на прогін набору; майже нульова гранична вартість | Токени судді на семплований трафік; масштабується з обсягом |
| Обмеження затримки | Немає; батч у зручному темпі | Субсекундні бюджети на гарячих шляхах |
| Ризик для користувачів | Нульовий; збої ніколи не доходять до користувачів | Реальний; погані відповіді влучають у живі сесії |
| Швидкість зворотного зв'язку | Хвилини на PR | Від секунд до хвилин на потоках |
| Типи метрик | Вірність, релевантність відповіді, дотримання формату, бенчмарк-оцінки | Перцентилі затримки, частота помилок, частота галюцинацій, фідбек користувачів |
| Відтворюваність | Детермінована за зафіксованих моделі й датасету | Недетермінована; мікс трафіку змінюється щодня |
| Governance та аудит | Версіоновані артефакти, можна дифити між релізами | Дашборди й алерти; важче відтворити |
Наша інтерпретація: офлайн-колонка відповідає на питання «чи зламала ця зміна щось?», а онлайн-колонка питає, чи продакшн віддаляється від того, що ми тестували. Саме в рядку типів метрик два режими розходяться найсильніше; наш гайд про метрики оцінки LLM розбирає кожну з них.
Що ловить кожен режим і що проскакує крізь обидва?
Кожен режим має власний клас збоїв, який інший не бачить. Офлайн ловить зміни, які зробили ви; онлайн ловить зміни, які світ зробив навколо вас. Найдорожчі збої, ті, що виживають в обох сітях, потребують людини-рецензента. Ця таксономія — наш синтез того, що повідомляє кожен режим, а не опублікований стандарт.
| Квадрант | Приклади | Дія |
|---|---|---|
| Тільки офлайн | Регресії промптів, зламані формати виводу, падіння бенчмарк-оцінок, вірність нижче порогу | Блокувати мерж у CI |
| Тільки онлайн | Дрейф розподілу, затримки під навантаженням, інтеграційні сюрпризи, адверсарні патерни зловживань | Алертувати, семплувати трейси, маршрутизувати їх у набір евалів |
| Ловлять обидва | Спайки частоти галюцинацій, ерозія фактичної узгодженості | Тримати обидва; дедуплікувати зусилля, а не покриття |
| Не ловить жоден | Нові крайні випадки, суб'єктивні оцінки якості, дрейф тону бренду | Черга людського ревью; розмічені кейси живлять офлайн-набір |
Квадрант «тільки офлайн» це місце, де CI-гейти відпрацьовують свою вартість: переписаний промпт, який тихенько опускає дотримання формату з 99% до 91%, невидимий у код-рев'ю й очевидний у наборі з 47 кейсів. Квадрант «тільки онлайн» хитріший. Реальні користувачі формулюють речі, яких ваш золотий набір ніколи не бачив, сторонні API тайм-аутять за розкладами, яких стейджинг ніколи не ловить, і хтось обов'язково скормить вашому чатботу промпт на 40 000 символів просто щоб подивитися, що станеться. Для того боку наш гайд про оцінку агентів у продакшні покриває скоринг багатокрокових траєкторій, а не лише одиночних виводів.
Нижній рядок — той, який команди пропускають і який їх потім пече. Збої, що коштують вам користувачів, це ті, які жоден режим не ловить самотужки. Вони потребують людини в циклі.
Як підключити офлайн-евали до CI-гейта? (Конфіг, який ніхто не показує)
Додайте раннер евалів як обов'язкову статус-перевірку на кожен пулреквест, який чіпає промпт, модель або конфіг retrieval. Зафіксуйте поріг. Блокуйте мерж нижче нього. Документація promptfoo описує саме цей CI-патерн, і саме його ми й використовуємо.
Крок у GitHub Actions
Скорочена версія гейта, який ми використовуємо сьогодні:
name: llm-eval-gate
on:
pull_request:
paths: ["prompts/**", "evals/**", "src/rag/**"]
jobs:
faithfulness-gate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: 22
- name: Run offline evals, fail the PR on regression
run: npx promptfoo@latest eval --config evals/support-agent.yaml
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }} # LLM-as-judgeYAML-конфіг декларує тестові кейси й асерти; eval завершується з ненульовим кодом, коли набір падає нижче порогу, GitHub позначає обов'язкову перевірку як провалену, і кнопка мержу стає сірою. Фільтр paths має значення: виправлення README не повинне палити токени судді.
Що насправді ловить гейт
Жива версія скорить наш RAG-ланцюг підтримки на 47 золотих кейсах на кожному PR, який впливає на промпт. Повний прогін триває близько 90 секунд CI-часу, а мерж блокується автоматично, якщо вірність падає нижче 0,82. За три місяці він впіймав дві регресії, які інакше пішли б у реліз: переписаний системний промпт, який опустив вірність з 0,91 до 0,74, і зміна ретривера, яка подвоїла довжину контексту й затягла релевантність відповідей нижче порогу. Жодна з них не виглядала небезпечною в рев'ю.
Гейт вірності в CI коштує 90 секунд на PR. Регресія вірності в продакшні коштує вам тикета підтримки й відкату.
Ми порівняли раннери, які можна вставити в цей патерн (promptfoo, DeepEval та інші), у нашому огляді інструментів оцінки LLM.
Які інструменти працюють у якому режимі? (Матриця «інструмент-режим»)
Жоден інструмент не покриває обидві смуги чисто. promptfoo і DeepEval — офлайн-спочатку раннери, які вміють скорити експортовані продакшн-дані за розкладом. Langfuse і LangSmith — онлайн-спочатку сховища трейсів, які прикручують LLM-як-суддя скорери до проінгестованих трейсів. Матриця нижче це наше прочитання документації кожного вендора: інтерпретація, а не догма.
| Інструмент | Офлайн-раннер | Онлайн-скорер | Обидва нативно? | Чого НЕ робить |
|---|---|---|---|---|
| promptfoo | Так: YAML-набори, CI-нативний, red-team паки | Частково: ті самі конфіги на експортованих логах | Офлайн-спочатку; онлайн потребує кроку експорту | Інгестити живі трейси; працювати дашбордом моніторингу |
| DeepEval | Так: тести в pytest-стилі, 14+ метрик | Так, через платформу Confident AI | Так, із хостед-аддоном | Сама лише open-source бібліотека тільки офлайн |
| Langfuse | Частково: експерименти з датасетами через SDK | Так: суддівські евалуатори на проінгестованих трейсах | Так: датасети плюс скорери трейсів | Запускати ваш CI-гейт мержу; це підключаєте самі |
| LangSmith | Так: датасети й офлайн-експерименти | Так: автоматизації скорять семпловані трейси | Так | Працювати поза стеком LangChain без тертя |
| OpenAI Evals | Так: евали в YAML-стилі реєстру | Ні | Ні | Продакшн-пайплайни трейсів; моделі інших вендорів |
| Arize Phoenix | Так: експерименти в notebook-стилі | Так: спани й трейси з інлайн-евалуаторами | Так | Легке налаштування; observability на першому місці |
Обирайте promptfoo або DeepEval, якщо ваша перша потреба це гейт мержу, який блокує погані промпти в CI. Обирайте Langfuse або LangSmith, якщо перша потреба це скоринг живого трафіку, і наше порівняння Langfuse vs LangSmith розбирає цей вибір глибоко. OpenAI Evals залишається особливим: офлайн-раннер у стилі реєстру без продакшн-сторони.
promptfoo гейтить ваші PR. Langfuse скорить ваші продакшн-трейси. Жоден не замінює іншого.
Як цикл зворотного зв'язку перетворює онлайн-збої на офлайн-тести?
Семплуйте низькооцінені продакшн-трейси, розмічайте їх і комітьте в офлайн-набір евалів. Тоді регресійний набір росте з кожним сюрпризом, який підкидає продакшн, а наступне розгортання гейтиться на розширеному наборі. Фреймінг «маховика» тут наш; це та частина, яку більшість команд ніколи не будує.
Цикл у тому вигляді, як ми його запускаємо:
- Онлайн-скорери флагують трейси нижче 0,7 оцінки судді.
- Ми семплуємо 20–30 флагнутих трейсів на тиждень.
- Людина розмічає кожен: очікуваний вивід плюс клас збою.
- Розмічені кейси входять в офлайн-набір як нові золоті приклади.
- Наступний PR проганяється на розширеному наборі, і цикл починається знову.
Семплування починається на вашому шарі observability LLM, бо саме трейси є сировиною. Щодо каденції: щотижня краще за щомісяця, бо дрейф компаундиться. Ми розмічаємо 10–15 кейсів на тиждень, і набір стає «достатньо великим», коли нові розмітки перестають рухати pass rate, приблизно 150–250 кейсів для вузького агента підтримки. Межа між режимами далі розмивається: Deepchecks повідомляє, що інженери Union.ai запускають свої «офлайн»-евали кожні кілька хвилин, фактично перетворюючи їх на майже real-time перевірки.
Ваш набір евалів не є фіксованим артефактом. Він росте щотижня, коли продакшн вас дивує.
Коли потрібні обидві? (Онлайн vs офлайн оцінка LLM за етапами)
Вам потрібні обидві від тижня релізу й далі, але баланс зміщується залежно від етапу: офлайн несе всю роботу до розгортання самотужки, тиждень релізу додає shadow або canary-скоринг, стабільний стан спирається на онлайн-моніторинг із періодичними офлайн-прогонами, а алерт дрейфу має закінчуватися відтвореним офлайн-тестом плюс більшим набором евалів.
| Етап | Офлайн | Онлайн | Дія |
|---|---|---|---|
| До розгортання | Регресійний гейт на кожен PR | Ще немає | Блокувати мерж нижче порогу |
| Тиждень релізу | Повний набір на реліз-кандидаті | Shadow або canary-скоринг на 5–10% трафіку | Порівняти онлайн-оцінки з офлайн-бейзлайном |
| Стабільний стан | Періодична переоцінка на оновленому датасеті, щотижня або щомісяця | Безперервний семплований скоринг плюс алерти | Стежити за дрейфом; ребейзлайнити щокварталу |
| Виявлено дрейф | Відтворити збійні трейси офлайн | Алерт, що спрацював тригером | Додати розмічені трейси в набір евалів; перегейтити наступне розгортання |
До розгортання найдешевше бути строгим: блокований мерж коштує хвилин, поганий реліз коштує довіри. Саме на тижні релізу команди недоінвестовують, хоча shadow-скоринг на невеликому зрізі трафіку коштує мало й показує, чи збрехав золотий набір. У стабільному стані настає самозаспокоєння, тож ставте переоцінку в календар.
А як щодо EU AI Act?
Зобов'язання EU AI Act для систем високого ризику вводяться поетапно до серпня 2026 року, повний графік дедлайнів опубліковано на EUR-Lex, і патерн відповідності чисто лягає на два режими. Задокументовані офлайн-докази показують, що система досягла цілей якості до релізу; постійний онлайн-моніторинг показує, що вона продовжує їх досягати після. Наше прочитання таке: аудит-трейл потребує обох артефактів, бо самі лише офлайн-логи не доводять, що система залишалася відповідною, і самі лише дашборди не доводять, що вона була відповідною на момент запуску. Це інтерпретація, а не юридична порада; наш опорний гайд про пайплайн оцінки LLM покриває повний набір вимог.
Офлайн-оцінка слугує вашими доказами. Онлайн-оцінка — ваша система раннього попередження. Регулятори хочуть обох.
Про автора: Мерт Батур, співзасновник Techsy.io, де команда відвантажує AI-агентів, автоматизаційні системи та voice/SDR-пайплайни для B2B-клієнтів. Він пише про стек LLM-інструментів, який команда Techsy реально використовує в продакшні. Підключайтесь у LinkedIn.
Часті запитання
Що таке офлайн-оцінка LLM?
Офлайн-оцінка LLM проганяє модель або промпт на фіксованому версіонованому датасеті до розгортання. Типові перевірки включають вірність отриманому контексту, релевантність відповіді, дотримання формату й бенчмарк-оцінки. Оскільки датасет ніколи не змінюється посеред прогону, результати відтворювані й дифовані, і саме тому офлайн-набори працюють як CI-гейти мержу.
Що таке онлайн-оцінка LLM?
Онлайн-оцінка LLM скорить живий трафік продакшну після релізу. Скорер LLM-як-суддя оцінює семпловані трейси на галюцинації, тон або коректність викликів інструментів, а оцінки стримляться на дашборд. Вона також поглинає сигнали, яких офлайн-тести не бачать: затримку під навантаженням, фідбек користувачів і те, наскільки реальні запити відрізняються від вашого золотого набору.
Коли використовувати офлайн, а коли онлайн-оцінку LLM?
Використовуйте офлайн-оцінку, щоб гейтити розгортання: кожна зміна промпту, моделі або retrieval має пройти набір до мержу. Онлайн-оцінкою мониторте те, що відвантажено. Більшість команд радше послідовно використовують обидві, ніж обирають одну: спочатку офлайн, онлайн від тижня релізу й далі, а продакшн-збої стікають назад в офлайн-набір.
Який приклад онлайн vs офлайн оцінки LLM?
Офлайн-приклад: набір promptfoo проганяє 200 золотих запитань підтримки на кожному пулреквесті й блокує мерж, якщо вірність падає нижче 0,82. Онлайн-приклад: Langfuse скорить 10% живих трейсів перевіркою галюцинацій LLM-як-суддя й алертить, коли тижневе середнє просідає. Той самий рубрик, інше джерело даних.
Як human-in-the-loop вписується в оцінку LLM?
Людина закриває прогалину, яку жоден режим не покриває: нові крайні випадки, суб'єктивні оцінки якості й дрейф тону бренду. Практична каденція: розмічати 10–20 семплованих низькооцінених трейсів на тиждень і комітити розмічені кейси в офлайн-набір евалів. Черга ревью має бути входом пайплайна, а не побічним проєктом.
Як працюють евали Langfuse для онлайн-скорингу?
Langfuse інгестить трейси з вашого застосунку, потім прикріплює LLM-як-суддя евалуатори, які скорять кожен трейс за рубриком: галюцинації, релевантність, токсичність або кастомний промпт. Оцінки потрапляють на дашборд, прив'язаний до сесій і користувачів. Команди експортують стійко низькооцінені трейси в офлайн-датасет для регресійного тестування. Наш огляд платформ observability порівнює сховища трейсів, які живлять цей патерн.
Як додати офлайн-евали в CI/CD-пайплайн?
Додайте раннер евалів як обов'язкову статус-перевірку на пулревести, які чіпають промпти, моделі або конфіг retrieval. promptfoo і DeepEval обидва працюють у headless-режимі й завершуються з ненульовим кодом при провалі асерту, що автоматично блокує мерж. Візьміть YAML-гейт на початку цієї статті як робочий шаблон; почніть із 30–50 кейсів.
EU AI Act вимагає офлайн чи онлайн-оцінку?
Фактично обох. Для систем високого ризику Act очікує задокументованих доказів, що цілі якості досягнуті до релізу, а це означає офлайн-артефакти, плюс постійного моніторингу після розгортання, а це означає онлайн-телеметрію. Його поетапні дедлайни тягнуться до серпня 2026 року згідно з EUR-Lex. Це наше прочитання патерну відповідності, а не юридична порада.
Чи може LLM-як-суддя працювати в обох режимах, офлайн та онлайн?
Так, і має, бо рубрик переноситься. В офлайні суддя скорить кожен вивід набору евалів батчем під час CI. В онлайні той самий промпт судді скорить семпловані продакшн-трейси майже в реальному часі. Саме один рубрик на обидва режими робить ваш офлайн-бейзлайн порівнянним із вашим онлайн-сигналом дрейфу.
Які метрики відрізняються між офлайн- і онлайн-оцінкою?
Офлайн-метрики вимірюють якість виводу проти ground truth: вірність, релевантність відповіді, дотримання формату, бенчмарк-оцінки. Онлайн-метрики додають операційні та поведінкові сигнали: p95-затримку, частоту помилок, частоту галюцинацій на живому трафіку, оцінку дрейфу й задоволеність користувачів. Офлайн-список питає «чи добре це?», а онлайн-список питає «чи все ще добре?».
Коротка версія
- Офлайн- і онлайн-оцінка доповнюють одна одну, а не ставлять вибір «або/або»: одна гейтить те, що ви відвантажуєте, інша стежить за тим, що ви відвантажили.
- Почніть із CI-гейта цього тижня, додайте онлайн-скоринг трейсів на релізі й підключіть цикл зворотного зв'язку, поки ваш набір евалів не протух.
- Цикл і є системою. Статичний золотий датасет гниє; той, що росте, компаундиться.
Якщо хочете другу пару очей на ваш пайплайн евалів, отримайте безкоштовну консультацію.