RAG vs dostrajanie: kiedy użyć którego (z realnymi liczbami)

RAG vs dostrajanie: kiedy użyć którego (z realnymi liczbami)

Większość porad o rag vs dostrajanie pomija jedyny eksperyment, który zmierzył obie metody na tym samym zadaniu. Balaguer i in., w arXiv:2401.08406 (cytowane 162 razy), przepuścili rolniczy zbiór QA przez oba podejścia: dostrajanie kupiło ponad 6 punktów dokładności, a RAG dołożył na to kolejne 5. Ich tabela 18 stawia GPT-4 na 75% bez pomocy, 81% po dostrajaniu, 86% po dostrajaniu z retrievalem. Dlaczego więc wciąż mówimy większości zespołów, żeby zaczynały od RAG? Bo świeżość, cytowania i matematyka kosztów poniżej decydują o większej liczbie projektów niż różnica dokładności rzędu 1 punktu.

Kluczowe wnioski

• RAG jest domyślnym wyborem, gdy wiedza często się zmienia lub odpowiedzi muszą cytować źródła; dostrajanie wygrywa spójnym formatem i opóźnieniem.
• Koszty dostrajania lądują z góry (trening); koszty RAG lądują na każde zapytanie (embeddingi plus dodatkowe tokeny wejściowe).
• Opublikowane dowody na tym samym zadaniu: dostrajanie dodało 6 punktów dokładności, RAG kolejne 5 na wierzch, a hybryda pobiła oba podejścia osobno.
• Przeprowadź pięć kroków kontrolnych (świeżość danych, etykietowane przykłady, opóźnienie, cytowania, kompetencje zespołu), zanim napiszesz jakikolwiek kod treningowy.

Kiedy użyć RAG vs dostrajanie? (Szybki werdykt)

Wybierz RAG, jeśli Twoja wiedza często się zmienia lub odpowiedzi muszą nieść cytowania. Wybierz dostrajanie, jeśli potrzebujesz spójnego formatu wyjścia i niskiego opóźnienia, a etykietowane przykłady liczysz w setkach. Użyj obu, gdy wdrożenie dojrzeje. RAG edytuje kontekst, który model czyta; dostrajanie edytuje sam model. Większość zespołów potrzebuje tego pierwszego, nie drugiego.

Jedno zdanie do zapamiętania: RAG zmienia to, co model czyta; dostrajanie zmienia to, czym model jest. Wybieraj w zależności od tego, czego faktycznie potrzebuje Twoje zadanie.

Słownik RAG od NVIDIA czysto definiuje stronę retrievalową, jeśli chcesz wersję podręcznikową. Definicje nie wybierają jednak Twojej architektury. Robią to dowody, więc zacznij od nich.

Co pokazują dowody? Jedno zadanie, oba podejścia, zmierzone

Jedynym mierzonym porównaniem na tym samym zadaniu, plasującym się w top 5 Google dla tego zapytania, jest Balaguer i in. 2024, badanie Microsoft Research cytowane 162 razy. Zespół przepuścił jedno rolnicze zadanie QA przez potok RAG, model dostrojony i hybrydę obu, a następnie poprosił GPT-4 o ocenę odpowiedzi. W ich konfiguracji samo dostrajanie nieznacznie wyprzedziło sam RAG, a połączenie obu pobiło każde z osobna większą różnicą.

Studium przypadku z rolnictwa (arXiv:2401.08406)

Badanie, złożone w styczniu 2024 przez Angels Balaguer i 15 współautorów, pyta, czego trzeba, by dać rolnikom wglądy zależne od lokalizacji. Ich potok wydobywa informacje z PDF-ów, generuje z nich pary pytanie-odpowiedź i ocenia Llama2-13B, GPT-3.5 oraz GPT-4 z retrievalem i bez niego.

Balaguer i in. raportują wzrost dokładności o ponad 6 punktów procentowych z dostrajania, kumulatywny z RAG, który dołożył kolejne 5 punktów na wierzch. Potok hybrydowy pobił oba podejścia osobno. Ich tabela 18 pokazuje kolejność dla GPT-4: 75% bez pomocy, 80% z RAG, 81% po dostrajaniu, 86% po dostrajaniu plus RAG. Zauważ, jak blisko siebie leżą 80% i 81%; różnica między samym RAG a samym dostrajaniem to jeden punkt, podczas gdy hybryda ma pięć punktów przewagi nad oboma. W jednym eksperymencie model dostrojony sięgnął po wiedzę z innych regionów geograficznych, by odpowiedzieć na pytania specyficzne dla regionu, podnosząc podobieństwo odpowiedzi z 47% do 72%.

Dowody ekonomiczne

Opublikowane badanie Snorkel AI (listopad 2022) pokrywa stronę kosztową. Na 100-klasowym benchmarku klasyfikacji prawniczej (LEDGAR, 80 000 postanowień umownych) dostrojony model RoBERTa dorównał dostrojonemu GPT-3, będąc 1400× mniejszym, używając poniżej 1% etykiet wzorcowych i działając za 0,1% produkcyjnego kosztu inferencji dostrojonego modelu GPT-3, czyli mniej więcej jedną tysięczną. Całkowity koszt budowy: 1 915 USD z etykietowaniem programowym wobec 7 418 USD za ręczną adnotację plus dostrajanie GPT-3. Jedno zastrzeżenie: to klasyfikacja, nie generatywne QA, więc traktuj te proporcje jako kierunkowe.

Nasza interpretacja

Nasza interpretacja: ich konfiguracja to najprzyjaźniejszy przypadek, jaki dostrajanie kiedykolwiek dostanie, a i tak wygrało tylko o punkt. Balaguer i in. trenowali na stałym korpusie PDF i oceniali względem tego samego zamrożonego korpusu, więc nic, czego wagi się nauczyły, nie miało szansy zestarzeć się w trakcie eksperymentu. Większość produkcyjnych baz wiedzy nie stoi w miejscu w ten sposób. Bot wsparcia odpowiadający na pytania o zeszłotygodniowy release odzyskuje te 6 punktów w każdym cyklu retreningu, podczas gdy indeks zasilający RAG aktualizuje się tego samego popołudnia. Dlatego czytamy przewagę dokładności rzędu 1 punktu jako najsłabszy wkład w tę decyzję, a świeżość jako najsilniejszy. Gdzie dowody się nie uogólniają: wynik Snorkel to benchmark klasyfikacji, a żadne z badań nie testuje kontroli tonu ani formatu, co pozostaje najsilniejszym argumentem dostrajania.

Dostrajanie jest właściwą odpowiedzią rzadziej, niż zespołom się wydaje; większość projektów, które mówią „dostrajanie", faktycznie ma na myśli „pobieranie".

Jak działa RAG i kiedy wygrywa?

RAG (retrieval-augmented generation) odpowiada z dokumentów, które kontrolujesz, zamiast z tego, co model zapamiętał podczas treningu. Zaproponowany po raz pierwszy przez Lewisa i in. w 2020, stał się domyślnym wyborem dla pracy na wiedzy, bo wiedza żyje poza modelem: zaktualizuj indeks, a każda odpowiedź zmieni się jutro bez retreningu.

Potok ma cztery kroki:

1. Ingest. Sparsuj swoje dokumenty (PDF-y, wiki, zgłoszenia) do korpusu.
2. Chunkowanie i embedding. Podziel na fragmenty po kilkaset tokenów i zamień każdy na wektor modelem embeddingowym.
3. Retrieval. W momencie zapytania znajdź top-K najbardziej podobnych fragmentów, plus dopasowania słów kluczowych dla dokładnych ciągów jak SKU i kody błędów.
4. Augmentacja i generacja. Włóż te fragmenty do promptu i pozwól LLM odpowiedzieć z dołączonymi źródłami.

RAG wygrywa na trzech osiach: świeżość (reindeksacja zamiast retreningu), cytowania (każda odpowiedź wskazuje fragment, z którego pochodzi) i kontrola danych (dane klientów nigdy nie trafiają do przebiegu treningowego). Jeśli chcesz pełny przewodnik budowy, oto jak zbudować aplikację RAG krok po kroku.

Jedno ostrzeżenie co do jakości retrievalu: potok jest tak dobry jak jego mieszanka embeddingu i retrievalu. Contextual Retrieval od Anthropic zmierzyło 5,7% wskaźnik niepowodzeń retrievalu top-20 na zwykłych konfiguracjach, spadający do 2,9% z embeddingami kontekstowymi plus BM25, i do 1,9% po dodaniu rerankera. Jeśli zapytania dokładnego dopasowania wciąż zawodzą, wyszukiwanie hybrydowe (BM25 vs vector) jest rozwiązaniem.

Kiedy wygrywa dostrajanie? (I czym jest PEFT?)

Dostrajanie wygrywa, gdy problemem jest to, jak model odpowiada, a nie co wie: spójny format wyjścia, ton marki lub twardy budżet opóźnienia bez rundy retrievalu. To także dźwignia dla ekonomiki małych modeli. Wynik Snorkel „jakość GPT-3 za 0,1% kosztu" powyżej istnieje tylko dlatego, że ktoś dostroił mały model zamiast serwować duży.

Pełne dostrajanie vs PEFT (LoRA / QLoRA)

Pełne dostrajanie aktualizuje każdą wagę w modelu. Jest drogie, wolne i rzadkie poza dużymi laboratoriami. Prawie każdy wdraża zamiast tego PEFT (parameter-efficient fine-tuning). LoRA (Hu i in. 2021) zamraża wagi bazowe i trenuje mały adapter niskiej rangi, typowo 0,1-1% liczby parametrów. QLoRA dokłada na to 4-bitową kwantyzację, więc model 13B mieści się na jednym konsumenckim GPU. Jeden powiązany termin wart poznania: ciągły pretraining, w którym model kontynuuje pretraining na surowym korpusie domenowym (bez nadzoru) przed dostrajaniem nadzorowanym na etykietowanych przykładach.

Minimalna konfiguracja LoRA, według dokumentacji Hugging Face PEFT:

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,                          # low-rank dimension; 8-64 typical
    lora_alpha=32,                 # scaling factor, commonly 2x r
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(base_model, config)
model.print_trainable_parameters()
# trainable params: ~13M || all params: 6.7B || trainable%: 0.19

Po przygotowanie danych, liczbę epok i ewaluację zajrzyj do naszego przewodnika dostrajania krok po kroku.

Ryzyka są realne: overfitting na małych zbiorach danych (kilkaset przykładów potrafi zapamiętać zamiast się nauczyć), starzenie się (wagi zamrażają Twoją wiedzę na moment odcięcia treningu) i brak atrybucji źródła (model dostrojony nie potrafi pokazać swoich dowodów). Jeśli którykolwiek z tych trzech jest dealbreakerem, właśnie z powrotem przekonałeś się do RAG.

RAG vs dostrajanie vs inżynieria promptów: gdzie pasują pozostałe?

Te trzy to drabina, nie rywale. Inżynieria promptów zmienia instrukcje, RAG zmienia kontekst, który model czyta, a dostrajanie zmienia wagi. Własny przewodnik dostrajania OpenAI umieszcza dostrajanie na końcu pętli: najpierw ewaluacje, potem prompty, trening dopiero gdy promptowanie przestaje wystarczać. Dwie nowsze opcje dopełniają zestaw narzędzi.

Jedno pomieszanie warte nazwania: serwery MCP i frameworki agentowe to orkiestracja, nie kastomizacja. Decydują, do których narzędzi i źródeł model ma dostęp; nie zmieniają tego, jak model odpowiada. Możesz uruchomić potok RAG wewnątrz agenta i dostroić model pod nim, i wiele systemów produkcyjnych robi oba. Wojny autouzupełniania („vs mcp", „vs agenci") to błędy kategorialne.

Czy RAG jest tańszy niż dostrajanie? Realny model kosztów

Krótka odpowiedź: przy realistycznych wolumenach zapytań, tak. Rachunek dostrajania ląduje z góry (etykietowane dane plus trening), podczas gdy rachunek RAG przychodzi na każde zapytanie (embeddingi plus dodatkowe tokeny wejściowe). Dokumentacja dostrajania OpenAI nalicza trening od tokena, ale opłaty za tokeny to drobne wobec ludzkiego kosztu etykietowanych przykładów. Oto matematyka na publicznych cennikach.

Pytanie o próg opłacalności: ile zapytań, zanim skumulowany podatek RAG na zapytanie zrówna się z inwestycją w dostrajanie?

break_even = training_cost / per_query_retrieval_delta
           = $1,915 / $0.0003
           ≈ 6.4 million queries

Przy 50 000 zapytań miesięcznie to ponad dziesięć lat. Dla większości produktów inwestycja w dostrajanie nigdy nie zwraca się z samych oszczędności na tokenach; dostrajasz dla formatu i opóźnienia, nie po to, by pobić RAG kosztem. Matematyka odwraca się powyżej milionów zapytań miesięcznie lub przy bardzo dużych pobieranych kontekstach. I zauważ asymetrię: rachunek dostrajania odnawia się za każdym razem, gdy dryf danych wymusza retrening, podczas gdy RAG skaluje się liniowo z wolumenem razy rozmiar fragmentu. Jeśli realnym zmartwieniem jest wydatek na zapytanie, zacznij najpierw od cięcia kosztów LLM na zapytanie; jeśli jednak idziesz w trening, porównaj narzędzia do dostrajania, zanim wypiszesz czek.

Jedna uwaga o świeżości: na lipiec 2026 dokumentacja dostrajania OpenAI stwierdza, że hostowana platforma jest wygaszana dla nowych użytkowników, a obecni użytkownicy zachowują dostęp do treningu przez nadchodzące miesiące. To kolejny powód, dla którego zespoły skłaniają się ku PEFT na otwartych modelach lub zwykłemu RAG.

5 kroków kontrolnych, zanim wybierzesz

Przeprowadź te pięć kroków tak-lub-nie, zanim napiszesz jakikolwiek kod treningowy; wzorzec odpowiedzi wskazuje na RAG, dostrajanie lub hybrydę pewniej niż jakikolwiek benchmark. Odpowiedz szczerze, potem policz.

1. Czy wiedza zmienia się szybciej, niż zdążyłbyś wytrenować? Tak → RAG. Retrening na każdą aktualizację dokumentu to nie jest plan operacyjny.
2. Czy masz kilkaset etykietowanych przykładów? Nie → RAG lub inżynieria promptów. Dostrajanie na 40 przykładach zapamiętuje; nie uczy się.
3. Czy istnieje twardy budżet opóźnienia? Ciasny → przewaga dostrajania. Pominięcie rundy retrievalu oszczędza 50-200 ms.
4. Czy odpowiedzi muszą nieść cytowania lub ślad audytowy? Tak → RAG. Modele dostrojone nie potrafią wskazać fragmentu źródłowego.
5. Czy zespół ma kompetencje ML plus budżet GPU lub API na trening? Nie → RAG. Indeks, który możesz przebudować, bije wagi, których nie potrafisz wytrenować.

Przewaga „tak" w 1, 4, 5 → RAG. Przewaga „tak" w 2 i 3 przy stabilnej domenie → dostrajanie. Podzielone odpowiedzi lub dojrzały produkt z realnym ruchem → hybryda (następna sekcja). Sensem listy kontrolnej jest decydowanie na podstawie dowodów, nie techniki, która w tym miesiącu jest modna w Twoim feedzie.

Czy można używać RAG i dostrajania razem?

Tak, a dla dojrzałych wdrożeń wzorzec hybrydowy jest normą, nie wyjątkiem. Dostrój dla płynności domenowej i formatu wyjścia (the how), pobieraj dla faktów w momencie inferencji (the what). Balaguer i in. raportują dokładnie to na swoim rolniczym zadaniu: potok hybrydowy pobił oba podejścia osobno, a 5-punktowy zysk RAG nałożył się na 6 punktów dostrajania.

Ścieżka dojrzewania, którą rekomendujemy: zacznij od inżynierii promptów, dodaj RAG w momencie, gdy odpowiedzi potrzebują prywatnych lub świeżych danych, i dodaj dostrajanie dopiero, gdy niespójności formatu lub opóźnienie zaczną boleć w produkcji. Przeskocz od razu do dostrajania, a zapłacisz podatek treningowy, zanim dowiesz się, czy retrieval już rozwiązał problem.

Wzorzec hybrydowy to nie kompromis; dla dojrzałych wdrożeń jest domyślny: dostrój dla formatu, pobieraj dla faktów.

Jak ocenić swojego zwycięzcę?

Wybierz zwycięzcę tak, jak wybierałbyś bazę danych: mierz na swoim obciążeniu, nie na przeczuciach. Przepis mieści się w jednym akapicie i pokrywa cztery liczby, które faktycznie decydują.

• Przytrzymany zbiór pytań. 100-300 prawdziwych pytań użytkowników. Nie syntetycznych, nigdy niczego widzianego podczas treningu lub indeksowania.
• Wierność i poprawność odpowiedzi. Wierność pyta, czy odpowiedź jest osadzona w pobranym kontekście; poprawność odpowiedzi pyta, czy faktycznie jest słuszna. Ta para, spopularyzowana przez RAGAS, łapie zarówno halucynacje, jak i chybienia retrievalu.
• Opóźnienie na p95, nie średnia. Retrieval dokłada rundę; mierz ogon.
• Koszt na 1 000 zapytań, tokeny plus infrastruktura, mierzony, nie zgadywany.
• Ponów przy dryfie. Nowe dokumenty, nowy snapshot modelu, nowy kwartał: ponów zbiór.

Pełny rozkład metryk, w tym narzędzia, znajduje się w naszym przewodniku ewaluacji LLM.

O autorze

Mert Batur jest współzałożycielem Techsy.io, gdzie zespół wdraża agentów AI, systemy automatyzacji i potoki głosowe/SDR dla klientów B2B. Pisze o stosie narzędzi LLM, którego zespół Techsy faktycznie używa w produkcji. Połącz się na LinkedIn.

Często zadawane pytania

Czy można używać RAG i dostrajania razem?

Tak. Dostrój dla formatu wyjścia i płynności domenowej, a zostaw retrieval dla faktów w momencie inferencji. Balaguer i in. zmierzyli tę hybrydę na rolniczym zadaniu QA i stwierdzili, że pobiła oba podejścia osobno, a zyski dokładności się nałożyły. Większość dojrzałych systemów produkcyjnych kończy właśnie tutaj: wagi dla the how, retrieval dla the what.

Kiedy nie używać dostrajania?

Pomiń dostrajanie, gdy Twoja wiedza zmienia się szybciej, niż potrafisz wytrenować, gdy masz mniej niż kilkaset etykietowanych przykładów, gdy odpowiedzi muszą nieść cytowania lub ślady audytowe, albo gdy nie ma budżetu na retrening w miarę dryfu danych. Te cztery warunki opisują większość produktów na wczesnym etapie, dlatego RAG jest zwykle właściwym pierwszym ruchem.

Czy dostrajanie jest obalone?

Nie, ale jego terytorium się skurczyło. Długie okna kontekstu i tani RAG wchłonęły przypadki użycia, które w 2023 wymagały dostrajania. To, co zostaje, jest realne: ścisły format wyjścia, ton marki, budżety opóźnienia bez rundy retrievalu i ekonomika małych modeli. Jeśli Twoim problemem jest to, jak model odpowiada, a nie co wie, dostrajanie wciąż jest narzędziem.

Kiedy użyć RAG vs dostrajanie?

Użyj RAG, gdy odpowiedzi zależą od prywatnej lub często aktualizowanej wiedzy, albo gdy potrzebujesz cytowań. Użyj dostrajania, gdy potrzebujesz spójnego formatu, tonu lub opóźnienia i masz dość etykietowanych przykładów. Użyj obu, gdy produkt dojrzeje. Jeśli nie masz pewności, zacznij od RAG: łatwiej go cofnąć niż przebieg treningowy.

Czy RAG jest tańszy niż dostrajanie?

Z góry, tak. Koszt RAG jest na zapytanie (embeddingi plus dodatkowe tokeny wejściowe), podczas gdy dostrajanie nalicza raz za trening i etykietowane dane, a potem odnawia się przy każdym retreningu. Na publicznych cennikach próg opłacalności ląduje około 6,4 miliona zapytań w naszym przykładowym wyliczeniu, więc przy typowych wolumenach RAG pozostaje tańszy przez cały cykl życia produktu.

Czy RAG jest lepszy niż dostrajanie na halucynacje?

Zwykle, ale nie za darmo. RAG osadza odpowiedzi w pobranych fragmentach, więc możesz cytować źródła i audytować niepowodzenia. Słaby retrieval zatruwa jednak odpowiedź: Anthropic zmierzyło 5,7% wskaźnik niepowodzeń retrievalu top-20 na zwykłych konfiguracjach, ścięty do 1,9% przez retrieval kontekstowy plus reranking. Dostrajanie tymczasem potrafi wypiec błędy w wagach bez możliwości ich wyśledzenia.

RAG vs dostrajanie vs inżynieria promptów: jaka jest różnica?

Inżynieria promptów zmienia instrukcje, które wysyłasz. RAG zmienia kontekst, który model czyta w momencie zapytania. Dostrajanie zmienia wagi modelu. Każde jest większą interwencją niż poprzednie: wypróbuj najpierw prompty, dodaj retrieval, gdy wiedza jest wąskim gardłem, i trenuj dopiero, gdy format, ton lub opóźnienie wciąż bolą.

Jak ocenić wydajność RAG vs dostrajanie?

Zbuduj przytrzymany zbiór 100-300 prawdziwych pytań użytkowników i oceń na nim oba podejścia: wierność (czy jest osadzona?), poprawność odpowiedzi (czy jest słuszna?), opóźnienie p95 i koszt na 1 000 zapytań. Ponawiaj zbiór za każdym razem, gdy zmieniają się Twoje dokumenty lub snapshot modelu. Syntetyczne pytania schlebiają obu systemom; prawdziwe je rozdzielają.

Dostrajanie vs RAG na pytania wieloskokowe o nowej wiedzy?

RAG, z lepszym retrievalem. Mechanizm o tym decyduje: model dostrojony potrafi rozumować tylko nad tym, co jego wagi wchłonęły, więc wiedza, której nigdy nie zobaczył, jest nieosiągalna niezależnie od tego, jak dobrze był wytrenowany. Retrieval podaje mu brakujące kawałki w momencie zapytania. Haczyk w tym, że jeden przebieg retrievalu rzadko zbiera każdy skok, więc planuj dekompozycję zapytań lub retrieval iteracyjny plus reranker, a nie pojedynczy lookup top-K.

Podsumowanie

Rekapitulacja, bez asekuracji:

• RAG jest domyślnym wyborem dla zmieniającej się wiedzy i cytowanych odpowiedzi. Dostrajanie jest specjalistą od formatu, tonu i opóźnienia.
• Dowody na tym samym zadaniu (Balaguer i in.) dają dostrajaniu +6 p.p., a RAG dalsze +5 p.p. na wierzch, przy czym hybryda jest najlepsza z trójki. Nasza rada, by zaczynać od RAG, opiera się na świeżości, cytowaniach i koszcie, nie na tej tablicy wyników.
• Matematyka kosztów wypada na korzyść RAG przy realistycznych wolumenach: próg opłacalności wyniósł około 6,4 miliona zapytań w naszym przykładowym wyliczeniu.
• Decyduj za pomocą pięciu kroków kontrolnych, nie nawyku.

Wybrałeś RAG? Zobacz naszą rankingową listę narzędzi RAG po stos wokół potoku.