RAG vs Fine-Tuning: Ne Zaman Hangisi Kullanılır? (Gerçek Rakamlarla)

RAG vs Fine-Tuning: Ne Zaman Hangisi Kullanılır? (Gerçek Rakamlarla)

rag vs fine tuning tavsiyelerinin büyük kısmı, ikisini de aynı görevde ölçen tek deneyi atlar. Balaguer ve arkadaşları arXiv:2401.08406 çalışmasında (162 atıf aldı) bir tarım soru-cevap setini her iki yaklaşımdan da geçirdi: fine-tuning 6 puanın üzerinde doğruluk kazandırdı, RAG bunun üstüne 5 puan daha koydu. Tablo 18'leri GPT-4'ü ham haliyle %75, fine-tuned olarak %81, erişimle birlikte fine-tuned olarak %86 gösteriyor. Peki biz neden hâlâ çoğu ekibe RAG ile başlamasını söylüyoruz? Çünkü güncellik, atıflar ve aşağıdaki maliyet hesabı, 1 puanlık doğruluk farkından çok daha fazla projenin kaderini belirliyor.

Öne Çıkanlar

• Bilgi sık değişiyorsa veya cevapların kaynak göstermesi gerekiyorsa varsayılan RAG'dır; fine-tuning ise tutarlı format ve gecikmede kazanır.
• Fine-tuning maliyeti başta ödenir (eğitim); RAG maliyeti sorgu başına ödenir (embedding artı ek girdi tokenları).
• Yayınlanmış aynı-görev kanıtı: fine-tuning 6 doğruluk puanı ekledi, RAG üstüne 5 puan daha koydu ve hibrit ikisini de geride bıraktı.
• Herhangi bir eğitim kodu yazmadan önce beş kontrolü (veri güncelliği, etiketli örnekler, gecikme, atıflar, ekip yetkinliği) çalıştırın.

RAG mi Fine-Tuning mi Ne Zaman Kullanılır? (Hızlı Karar)

Bilginiz sık değişiyorsa veya cevaplarınız atıf taşımak zorundaysa RAG seçin. Tutarlı bir çıktı formatı ve düşük gecikme gerekiyorsa, elinizde yüzlerce etiketli örnek varsa fine-tuning seçin. Dağıtım olgunlaştığında ikisini birden kullanın. RAG modelin okuduğu bağlamı düzenler; fine-tuning modelin kendisini düzenler. Çoğu ekibin ihtiyacı birincisidir, ikincisi değil.

Aklınızda kalacak tek cümle: RAG modelin ne okuduğunu değiştirir; fine-tuning modelin ne olduğunu değiştirir. Görevinizin gerçekte hangisine ihtiyaç duyduğuna bakarak seçin.

NVIDIA'nın RAG sözlüğü işin erişim tarafını temiz biçimde tanımlar; kitabi tanımı istiyorsanız oraya bakabilirsiniz. Ne var ki mimarinizi tanımlar seçmez. Kanıtlar seçer, o yüzden oradan başlayın.

Kanıtlar Ne Gösteriyor? Tek Görev, İki Yaklaşım, Ölçülmüş

Bu sorgu için Google'ın ilk beş sırasında yer alan, aynı görevde ölçülmüş tek karşılaştırma Balaguer ve arkadaşlarının 2024 çalışması; 162 atıf almış bir Microsoft Research araştırması. Ekip tek bir tarım soru-cevap görevini bir RAG sürecinden, fine-tuned bir modelden ve ikisinin hibritinden geçirdi, ardından cevapları GPT-4'e puanlattı. Onların kurulumunda yalnız fine-tuning, yalnız RAG'ı az farkla geçti; ikisinin üst üste konması ise ikisinden de açık ara daha iyi sonuç verdi.

Tarım vaka çalışması (arXiv:2401.08406)

Ocak 2024'te Angels Balaguer ve 15 ortak yazar tarafından gönderilen çalışma, çiftçilere konuma özel içgörüler sunmak için ne gerektiğini soruyor. Süreçleri PDF'lerden bilgi çıkarıyor, bunlardan soru-cevap çiftleri üretiyor ve Llama2-13B, GPT-3.5 ile GPT-4'ü erişimli ve erişimsiz olarak değerlendiriyor.

Balaguer ve arkadaşları fine-tuning ile 6 yüzde puanının üzerinde bir doğruluk artışı raporluyor; bu kazanç RAG ile kümülatif ve RAG üstüne 5 puan daha ekliyor. Hibrit süreç, tek başına her iki yaklaşımı da geçti. Tablo 18'leri GPT-4 için sıralamayı gösteriyor: yardım almadan %75, RAG ile %80, fine-tuned olarak %81, fine-tuning artı RAG ile %86. %80 ile %81'in ne kadar yakın durduğuna dikkat edin; yalnız RAG ile yalnız fine-tuning arasındaki fark bir puan, hibrit ise ikisinden de beş puan önde. Deneyin birinde fine-tuned model, başka coğrafyalardan öğrendiği bilgiyi bölgeye özgü soruları yanıtlamak için kullandı ve cevap benzerliğini %47'den %72'ye çıkardı.

Ekonomik kanıtlar

Snorkel AI'ın yayınladığı çalışma (Kasım 2022) maliyet tarafını ele alıyor. 100 sınıflı bir hukuk sınıflandırma benchmark'ında (LEDGAR, 80.000 sözleşme maddesi) fine-tuned bir RoBERTa modeli, fine-tuned GPT-3 ile eşleşti; üstelik 1.400× daha küçüktü, ground-truth etiketlerin %1'inden azını kullanıyordu ve fine-tuned GPT-3 modelinin üretim çıkarım maliyetinin %0,1'i ile, kabaca binde biriyle çalışıyordu. Toplam inşa maliyeti: programatik etiketlemeyle $1.915, manuel anotasyon artı GPT-3 fine-tuning ile $7.418. Bir çekince: bu sınıflandırma, üretken soru-cevap değil; o yüzden oranları yön gösterici sayın.

Bizim yorumumuz

Bizim yorumumuz şu: onların kurulumu, fine-tuning'in karşılaşabileceği en elverişli durum ve yine de yalnızca bir puanla kazandı. Balaguer ve arkadaşları sabit bir PDF korpusu üzerinde eğitti ve aynı dondurulmuş korpusa karşı değerlendirdi; yani ağırlıkların öğrendiği hiçbir şeyin deney ortasında eskime şansı yoktu. Üretimdeki bilgi tabanlarının çoğu böyle yerinde saymaz. Geçen haftaki sürüm hakkında soru yanıtlayan bir destek botu, 6 puanı her yeniden eğitim döngüsünde tekrar kazanmak zorundadır; RAG'ı besleyen indeks ise aynı öğleden sonra güncellenir. Bu yüzden 1 puanlık doğruluk avantajını bu kararın en zayıf girdisi, güncelliği ise en güçlü girdisi olarak okuyoruz. Kanıtın genellenemediği yer: Snorkel'ın sonucu bir sınıflandırma benchmark'ı ve hiçbir çalışma ton veya format kontrolünü test etmiyor; oysa bunlar fine-tuning'in hâlâ en güçlü kozu.

Fine-tuning doğru cevap olarak ekiplerin sandığından daha seyrek çıkar; "fine-tune yapalım" diyen projelerin çoğu aslında "erişim yapalım" demektedir.

RAG Nasıl Çalışır ve Ne Zaman Kazanır?

RAG (retrieval-augmented generation, erişim destekli üretim), modelin eğitim sırasında ezberlediklerinden değil, sizin denetlediğiniz belgelerden cevap verir. İlk kez Lewis ve arkadaşları tarafından 2020'de önerildi ve bilgi işinin varsayılanı haline geldi; çünkü bilgi modelin dışında yaşar: indeksi güncellersiniz ve her cevap, yeniden eğitim olmadan yarın değişir.

Süreç dört adımdır:

1. İçe alma. Belgelerinizi (PDF'ler, wiki'ler, destek talepleri) bir korpusa ayrıştırın.
2. Parçalama ve embedding. Birkaç yüz tokenlık parçalara bölün ve her birini bir embedding modeliyle vektöre dönüştürün.
3. Erişim. Sorgu anında en benzer top-K parçayı bulun; SKU ve hata kodu gibi birebir diziler için anahtar kelime eşleşmelerini de ekleyin.
4. Zenginleştirme ve üretim. Bu parçaları prompta yerleştirin ve LLM'in kaynakları ekli şekilde cevaplamasını sağlayın.

RAG üç eksende kazanır: güncellik (yeniden eğitim yerine yeniden indeksleme), atıflar (her cevap geldiği parçayı gösterir) ve veri kontrolü (müşteri verisi hiçbir eğitim sürecine girmez). İnşa sürecinin tamamını istiyorsanız, adım adım RAG uygulaması geliştirme rehberimize bakın.

Erişim kalitesine dair bir uyarı: süreç ancak embedding ve erişim karışımı kadar iyidir. Anthropic'in Contextual Retrieval çalışması yalın kurulumlarda %5,7 top-20 erişim hata oranı ölçtü; bağlamsal embedding artı BM25 ile bu oran %2,9'a, reranker eklendiğinde %1,9'a düştü. Birebir eşleşme sorguları sürekli başarısız oluyorsa çözüm hibrit aramadır (BM25 vs vektör).

Fine-Tuning Ne Zaman Kazanır? (PEFT Nedir?)

Fine-tuning, sorun modelin ne bildiği değil nasıl cevap verdiği olduğunda kazanır: tutarlı çıktı formatı, marka tonu ya da erişim gidiş-dönüşünün olmadığı sıkı bir gecikme bütçesi. Aynı zamanda küçük model ekonomisinin de kaldıracıdır. Yukarıdaki "GPT-3 kalitesine maliyetin %0,1'iyle ulaşma" sonucu, ancak biri büyük bir model sunmak yerine küçük bir modeli fine-tune ettiği için var olabiliyor.

Tam fine-tuning vs PEFT (LoRA / QLoRA)

Tam fine-tuning modeldeki her ağırlığı günceller. Pahalıdır, yavaştır ve büyük laboratuvarlar dışında nadirdir. Neredeyse herkes bunun yerine PEFT (parameter-efficient fine-tuning, parametre verimli fine-tuning) kullanır. LoRA (Hu ve arkadaşları 2021) taban ağırlıkları dondurur ve küçük, düşük dereceli bir adaptör eğitir; genelde parametre sayısının %0,1-1'i kadar. QLoRA bunun üstüne 4-bit kuantizasyon ekler; böylece 13B'lik bir model tek bir tüketici GPU'suna sığar. Bilmeye değer bir ilgili terim: sürekli ön eğitim (continuous pretraining); burada model, etiketli örnekler üzerinde denetimli fine-tuning'den önce ham bir alan korpusu üzerinde (denetimsiz) ön eğitime devam eder.

Hugging Face PEFT belgelerine göre minimal bir LoRA yapılandırması:

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,                          # low-rank dimension; 8-64 typical
    lora_alpha=32,                 # scaling factor, commonly 2x r
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(base_model, config)
model.print_trainable_parameters()
# trainable params: ~13M || all params: 6.7B || trainable%: 0.19

Veri seti hazırlığı, epoch sayısı ve değerlendirme için adım adım fine-tuning rehberimize bakın.

Riskler gerçektir: küçük veri setlerinde aşırı öğrenme (birkaç yüz örnek öğrenmek yerine ezberleyebilir), eskime (ağırlıklar bilginizi eğitim kesim tarihinde dondurur) ve kaynak gösterememe (fine-tuned bir model fişini gösteremez). Bu üçünden herhangi biri sizin için anlaşma bozucuysa, az önce kendinizi tekrar RAG'a ikna ettiniz demektir.

RAG vs Fine-Tuning vs Prompt Engineering: Diğerleri Nereye Oturuyor?

Üçü bir merdivendir, rakip değildir. Prompt engineering talimatları değiştirir, RAG modelin okuduğu bağlamı değiştirir, fine-tuning ise ağırlıkları değiştirir. OpenAI'ın kendi fine-tuning rehberi fine-tuning'i döngünün en sonuna koyar: önce eval, sonra prompt, yalnızca prompt yetmez hale geldiğinde eğitim. İki yeni seçenek araç kutusunu tamamlıyor.

Adını koymaya değer bir kafa karışıklığı: MCP sunucuları ve ajan çerçeveleri orkestrasyondur, özelleştirme değil. Modelin hangi araçlara ve kaynaklara ulaşabildiğine karar verirler; modelin nasıl cevapladığını değiştirmezler. Bir ajanın içinde bir RAG süreci çalıştırabilir ve alttaki modeli fine-tune edebilirsiniz; birçok üretim sistemi ikisini de yapar. Otomatik tamamlama savaşları ("vs mcp", "vs agents") birer kategori hatasıdır.

RAG, Fine-Tuning'den Daha mı Ucuz? Gerçek Maliyet Modeli

Kısa cevap: gerçekçi sorgu hacimlerinde, evet. Fine-tuning'in faturası başta gelir (etiketli veri artı eğitim); RAG'ın faturası ise sorgu başına gelir (embedding artı ek girdi tokenları). OpenAI'ın fine-tuning belgeleri eğitimi token başına ücretlendirir, ancak token ücretleri etiketli örneklerin insan maliyetinin yanında cep harçlığı kalır. Açık liste fiyatlarıyla hesap şöyle.

Başabaş sorusu şu: RAG'ın sorgu başına biriken vergisi, fine-tuning yatırımına kaç sorguda eşitlenir?

break_even = training_cost / per_query_retrieval_delta
           = $1,915 / $0.0003
           ≈ 6.4 million queries

Ayda 50.000 sorguyla bu, on yıldan fazla demektir. Çoğu ürün için fine-tuning yatırımı, yalnızca token tasarrufuyla asla geri dönmez; fine-tuning'i format ve gecikme için yaparsınız, RAG'ı maliyette yenmek için değil. Matematik, ayda milyonlarca sorgunun üzerinde ya da çok büyük erişilen bağlamlarla tersine döner. Şu asimetriye de dikkat edin: fine-tuning faturası, veri değişimi yeniden eğitimi zorladığında her seferinde yenilenir; RAG ise hacim çarpı parça boyutuyla doğrusal ölçeklenir. Sorgu başına harcama asıl endişenizse, önce LLM API maliyetlerini düşürmekle başlayın; eğitim yoluna gidecekseniz de çeki yazmadan önce fine-tuning araçlarını karşılaştırın.

Bir güncellik notu: Temmuz 2026 itibarıyla OpenAI'ın fine-tuning belgeleri, barındırılan platformun yeni kullanıcılar için kademeli olarak kapatıldığını, mevcut kullanıcıların ise önümüzdeki aylarda eğitim erişimini koruyacağını belirtiyor. Bu, ekiplerin açık model PEFT'e ya da sade RAG'a yönelmesinin bir başka nedeni.

Seçmeden Önce 5 Kontrol

Herhangi bir eğitim kodu yazmadan önce bu beş evet-hayır kontrolünü çalıştırın; cevapların örüntüsü RAG'a, fine-tuning'e ya da hibrite, herhangi bir benchmark'tan daha güvenilir biçimde işaret eder. Dürüstçe yanıtlayın, sonra sayın.

1. Bilgi, yeniden eğitebileceğinizden hızlı mı değişiyor? Evet → RAG. Her belge güncellemesinde yeniden eğitim bir operasyon planı değildir.
2. Elinizde birkaç yüz etiketli örnek var mı? Hayır → RAG veya prompt engineering. 40 örnekle fine-tuning öğrenmez, ezberler.
3. Sıkı bir gecikme bütçesi var mı? Sıkı → fine-tuning'e yakın. Erişim gidiş-dönüşünü atlamak 50-200ms kazandırır.
4. Cevaplar atıf veya denetim izi taşımak zorunda mı? Evet → RAG. Fine-tuned modeller kaynak parçayı gösteremez.
5. Ekibin ML yetkinliği ve eğitim için GPU veya API bütçesi var mı? Hayır → RAG. Yeniden inşa edebileceğiniz bir indeks, yeniden eğitemeyeceğiniz ağırlıklardan iyidir.

1, 4 ve 5'te çoğunlukla evet → RAG. 2 ve 3'te çoğunlukla evet ve sabit bir alan → fine-tuning. Bölünmüş cevaplar ya da gerçek trafiği olan olgun bir ürün → hibrit (bir sonraki bölüm). Kontrol listesinin amacı, bu ay akışınızda hangi teknik trend diye değil, kanıtla karar vermektir.

RAG ve Fine-Tuning Birlikte Kullanılabilir mi?

Evet ve olgun dağıtımlarda hibrit desen istisna değil normdur. Alan akıcılığı ve çıktı formatı için fine-tuning yapın (nasıl), çıkarım anında gerçekler için erişim kullanın (ne). Balaguer ve arkadaşları tarım görevlerinde tam olarak bunu raporluyor: hibrit süreç tek başına her iki yaklaşımı da geçti; RAG'ın 5 puanlık kazancı fine-tuning'in 6 puanının üstüne eklendi.

Önerdiğimiz olgunlaşma yolu: prompt engineering ile başlayın, cevapların özel veya güncel veriye ihtiyaç duyduğu an RAG ekleyin ve fine-tuning'i ancak format tutarsızlıkları ya da gecikme üretimde can yakmaya başladığında ekleyin. Doğrudan fine-tuning'e atlarsanız, erişimin sorunu zaten çözüp çözmediğini bilmeden eğitim vergisini ödemiş olursunuz.

Hibrit desen bir uzlaşma değildir; olgun dağıtımlar için varsayılandır: format için fine-tuning, gerçekler için erişim.

Kazananı Nasıl Değerlendirirsiniz?

Kazananı, bir veritabanı seçer gibi seçin: kendi iş yükünüzde ölçün, hislerle değil. Tarif tek bir paragrafa sığar ve asıl kararı veren dört metriği kapsar.

• Ayrık soru seti. 100-300 gerçek kullanıcı sorusu. Sentetik olanlar değil; eğitimde ya da indekslemede görülmüş hiçbir şey asla.
• Sadakat ve cevap doğruluğu. Sadakat, cevabın erişilen bağlama dayanıp dayanmadığını sorar; cevap doğruluğu ise gerçekte doğru olup olmadığını. RAGAS'ın yaygınlaştırdığı bu ikili, hem halüsinasyonu hem erişim ıskalarını yakalar.
• p95 gecikmesi, ortalama değil. Erişim bir gidiş-dönüş ekler; kuyruğu ölçün.
• 1.000 sorgu başına maliyet, token artı altyapı; tahminle değil ölçerek.
• Değişimde yeniden çalıştırın. Yeni belgeler, yeni model anlık görüntüsü, yeni çeyrek: seti yeniden çalıştırın.

Araçlar dahil metrik dökümünün tamamı LLM değerlendirme rehberimizde.

Sıkça Sorulan Sorular

RAG ve fine-tuning birlikte kullanılabilir mi?

Evet. Çıktı formatı ve alan akıcılığı için fine-tuning yapın, çıkarım anında gerçekler için erişimi koruyun. Balaguer ve arkadaşları bu hibriti bir tarım soru-cevap görevinde ölçtü ve tek başına her iki yaklaşımdan da iyi sonuç verdiğini, doğruluk kazançlarının üst üste eklendiğini buldu. Olgun üretim sistemlerinin çoğu eninde sonunda burada karar kılar: nasıl için ağırlıklar, ne için erişim.

Fine-tuning ne zaman kullanılmaz?

Bilginiz yeniden eğitebileceğinizden hızlı değişiyorsa, birkaç yüzden az etiketli örneğiniz varsa, cevaplar atıf veya denetim izi taşımak zorundaysa ya da veri değiştikçe yeniden eğitim için bütçe yoksa fine-tuning'i atlayın. Bu dört koşul erken aşama ürünlerin çoğunu tanımlar; RAG'ın genelde doğru ilk hamle olmasının nedeni de budur.

Fine-tuning'in modu geçti mi?

Hayır, ama alanı daraldı. Uzun bağlam pencereleri ve ucuz RAG, 2023'te fine-tuning gerektiren kullanım senaryolarını emdi. Geriye kalanlar gerçek: katı çıktı formatı, marka tonu, erişim gidiş-dönüşü olmayan gecikme bütçeleri ve küçük model ekonomisi. Sorununuz modelin ne bildiği değil nasıl cevapladığı ise, fine-tuning hâlâ doğru araçtır.

RAG vs fine-tuning ne zaman kullanılır?

Cevaplar özel ya da sık güncellenen bilgiye dayanıyorsa veya atıf gerekiyorsa RAG kullanın. Tutarlı format, ton ya da gecikme gerekiyorsa ve yeterli etiketli örneğiniz varsa fine-tuning kullanın. Ürün olgunlaştığında ikisini de kullanın. Emin değilseniz RAG ile başlayın: geri almak, bir eğitim sürecini geri almaktan ucuzdur.

RAG, fine-tuning'den daha mı ucuz?

Başlangıçta, evet. RAG'ın maliyeti sorgu başınadır (embedding artı ek girdi tokenları); fine-tuning ise eğitim ve etiketli veri için bir kez ücretlendirir, sonra her yeniden eğitimde yenilenir. Açık liste fiyatlarıyla başabaş noktası, çalıştığımız örnekte yaklaşık 6,4 milyon sorguya oturuyor; yani tipik hacimlerde RAG, ürünün ömrü boyunca daha ucuz kalır.

Halüsinasyonlarda RAG fine-tuning'den iyi mi?

Genellikle, ama bedava değil. RAG cevapları erişilen parçalara dayandırır; böylece kaynak gösterebilir ve hataları denetleyebilirsiniz. Ne var ki kötü erişim cevabı zehirler: Anthropic yalın kurulumlarda %5,7 top-20 erişim hata oranı ölçtü; bağlamsal erişim artı reranking ile %1,9'a indi. Fine-tuning ise hataları ağırlıklara, izini sürmenin yolu olmadan işleyebilir.

RAG vs fine-tuning vs prompt engineering: fark ne?

Prompt engineering gönderdiğiniz talimatları değiştirir. RAG modelin sorgu anında okuduğu bağlamı değiştirir. Fine-tuning modelin ağırlıklarını değiştirir. Her biri bir öncekinden daha büyük bir müdahaledir: önce promptları deneyin, darboğaz bilgi olduğunda erişim ekleyin ve yalnızca format, ton ya da gecikme hâlâ can yakıyorsa eğitim yapın.

RAG vs fine-tuning performansı nasıl değerlendirilir?

100-300 gerçek kullanıcı sorusundan oluşan ayrık bir set kurun ve her iki yaklaşımı bunun üzerinde puanlayın: sadakat (bağlama dayanıyor mu?), cevap doğruluğu (doğru mu?), p95 gecikmesi ve 1.000 sorgu başına maliyet. Belgeleriniz ya da model anlık görüntünüz her değiştiğinde seti yeniden çalıştırın. Sentetik sorular iki sistemi de pohpohlar; gerçek sorular ise aralarını açar.

Yeni bilgi üzerinde çok adımlı (multi-hop) sorular için fine-tuning mi RAG mı?

RAG, daha iyi bir erişimle. Bu kararı mekanizma verir: fine-tuned bir model yalnızca ağırlıklarının emdiği şey üzerinde akıl yürütebilir; bu yüzden hiç görmediği bilgi, ne kadar iyi eğitilmiş olursa olsun erişilemez kalır. Erişim, eksik parçaları sorgu anında eline tutuşturur. Püf noktası şu: tek bir erişim geçişi her adımı (hop) nadiren toplar; bu yüzden tek bir top-K araması değil, soru ayrıştırma ya da yinelemeli erişim artı reranker planlayın.

Sonuç

Özet, kaçamak ifadeler olmadan:

• RAG, değişen bilgi ve atıflı cevaplar için varsayılandır. Fine-tuning ise format, ton ve gecikmenin uzmanıdır.
• Aynı-görev kanıtı (Balaguer ve arkadaşları) fine-tuning'e +6 yüzde puanı, RAG'a bunun üstüne +5 yüzde puanı daha veriyor; hibrit üçünün en iyisi. RAG ile başlayın tavsiyemiz o puan tablosuna değil, güncelliğe, atıflara ve maliyete dayanıyor.
• Maliyet hesabı gerçekçi hacimlerde RAG lehine sonuçlanıyor: çalıştığımız örnekte başabaş noktası yaklaşık 6,4 milyon sorguydu.
• Beş kontrolle karar verin, alışkanlıkla değil.

RAG'ı seçtiyseniz, sürecin etrafındaki yığın için sıralı RAG araçları listemize bakın.