RAG mı, Fine-Tuning mi, Yoksa Sadece Daha İyi Bir Prompt mu? Doğru Yaklaşımı Seçmek

“ChatGPT gibi bir şey istiyoruz ama bizim verimizle.” Şirketlerle yapılan neredeyse her yapay zeka görüşmesi böyle başlar. Bu cümlenin arkasında birbirinden çok farklı üç teknik yaklaşım vardır: iyi bir prompt, retrieval-augmented generation (RAG) ve fine-tuning. Maliyetleri, eforları ve gerçekte neyi çözdükleri farklıdır. Yanlış olanı seçmek, yapay zeka pilotlarının takılıp kalmasının en yaygın nedenidir.

Teknikle değil, soruyla başlayın

Seçim yapmadan önce modelin bugün neyi yanlış yaptığını yazın. Cevap genellikle üç gruptan birine girer:

• Bir şeyi bilmiyor (ürünleriniz, sözleşmeleriniz, iç süreçleriniz) → bilgi sorunu.
• Biliyor ama yanlış biçimde cevaplıyor (ton, yapı, uzunluk, format) → davranış sorunu.
• Görevi anlamıyor → çoğunlukla prompt sorunu.

Bilgi sorunları RAG ile çözülür. Davranış sorunları fine-tuning ile çözülebilir. Şaşırtıcı sayıda sorun ise daha iyi bir prompt ile ortadan kalkar.

Seviye 1: daha iyi bir prompt

Net talimatlar, birkaç iyi örnek ve tanımlı bir çıktı formatı (örneğin JSON) ücretsizdir ve haftalar değil saatler sürer. Modern modeller talimatlara iyi uyar. Başka bir şeye yatırım yapmadan önce, beklenen cevaplarıyla birlikte 20–50 gerçek sorudan oluşan küçük bir test seti hazırlayın ve prompt ile ne kadar ilerleyebildiğinizi görün.

Uygun olduğu işler: sınıflandırma, bilgi çıkarma, yeniden yazma, özetleme — gerekli bilginin girdinin içinde olduğu her görev. Sınırı: model yalnızca bağlama sığanı kullanabilir. 4.000 sayfalık doküman arşivinizi bilemez.

Seviye 2: RAG — modele doğru sayfaları verin

RAG’de dokümanlarınız parçalara ayrılır ve indekslenir. Her soru için sistem en ilgili parçaları arar ve prompt’a ekler. Model bu kaynaklara dayanarak cevap verir ve kaynak gösterebilir.

Uygun olduğu işler: şirket içi bilgi asistanları, destek botları, sözleşme ve politika soruları, ürün katalogları — cevapların değişen dokümanlara dayanması gereken her şey.

Neden genellikle doğru seçimdir:

• Güncel: yeni bir doküman yüklendikten dakikalar sonra aranabilir. Yeniden eğitim yok.
• İzlenebilir: her cevap kaynağını gösterebilir. Bu; güven, denetim ve AB Yapay Zeka Yasası’nın şeffaflık beklentileri için önemlidir.
• Yetkiler: arama, kimin hangi dokümanı görebileceğini dikkate alabilir. Fine-tune edilmiş bir model belirli bir kullanıcı için veriyi “unutamaz”.
• Lokal modellerle çalışır: RAG kendi donanımınızdaki açık kaynak modellerle iyi çalışır; veri ağınızdan hiç çıkmaz.

RAG’deki eforun büyük kısmı yapay zekada değil veridedir: PDF’leri temizlemek, dokümanları anlamlı parçalara bölmek, indeksi güncel tutmak ve doğru parçaların bulunup bulunmadığını ölçmek. Cevap kalitesini arama kalitesi belirler.

Seviye 3: fine-tuning — modelin davranışını değiştirin

Fine-tuning, bir modeli kendi örneklerinizle (genellikle yüzlerce ile binlerce girdi/çıktı çifti) eğitmeye devam etmektir. Üslup ve format öğretmekte iyidir: kurumsal diliniz, katı bir rapor yapısı, alana özgü sınıflandırma etiketleri ya da küçük ve ucuz bir modelin dar bir görevi büyük bir model kadar iyi yapması.

Bilgi öğretmek için ise zayıf bir yoldur. Model eğitim verisindeki ayrıntıları güvenilir şekilde hatırlamaz, kaynak gösteremez ve bilginizdeki her değişiklik yeni bir eğitim demektir. Ayrıca temiz ve temsil gücü yüksek eğitim verisi gerektirir; çoğu zaman en zor kısım budur.

Uygun olduğu işler: yüksek hacimde tutarlı formatlar, dar ve tekrar eden görevler, işi daha küçük bir modele taşıyarak maliyet ve gecikmeyi düşürmek.

Hızlı karar rehberi

Durum	Yaklaşım
Cevaplar dokümanlarınızdan gelmeli	RAG
Dokümanlar her hafta değişiyor	RAG
Kullanıcı kaynağı görmeli	RAG
Çıktı formatı veya tonu tutarsız	Önce prompt, sonra fine-tuning
Aynı dar görev, çok yüksek hacim	Fine-tuning (daha küçük model)
Veri şirket içinde kalmalı	Lokal modelle RAG veya fine-tuning

Pratikte cevap genellikle bir kombinasyondur: iyi tasarlanmış bir prompt, bilgi için RAG ve ancak daha sonra, kanıtlanmış bir akışı daha ucuz veya tutarlı hale getirmek için fine-tuning.

Kabaca maliyeti

Test setiyle birlikte prompt tabanlı bir çözüm birkaç günde canlıya alınabilir. Üretime hazır bir RAG sistemi (doküman hattı, arama, yetkiler, değerlendirme, arayüz) genellikle birkaç haftalık iştir. Fine-tuning; veri hazırlığı, eğitim çalıştırmaları ve süregelen yeniden eğitim ekler — yalnızca hangi görevi optimize etmek istediğinizi tam olarak bildiğinizde değer.

İşe yarayan sıra

1. İyi cevaplarıyla birlikte 20–50 gerçek soru yazın.

2. Güçlü bir prompt deneyin ve ölçün.

3. Bilgi eksikse RAG ekleyin ve tekrar ölçün.

4. Davranış ölçekte hâlâ tutmuyorsa fine-tuning’i değerlendirin.

5. adımı atlamak en pahalı hatadır: test seti olmadan bir değişikliğin işleri iyileştirip iyileştirmediğini anlayamazsınız.

Kullanım senaryonuzun hangi seviyeye ihtiyaç duyduğundan emin değilseniz, ücretsiz 30 dakikalık bir görüşmede birlikte bakabiliriz — çoğu zaman yaklaşımı ve gerçekçi bir bütçeyi belirlemek için bu kadarı yeterli olur.