AI & Otomasyon Terimleri
RAG nedir?
RAG (Retrieval Augmented Generation), bir yapay zeka modelinin cevabı üretmeden önce kendi dışındaki bir bilgi kaynağından ilgili parçaları getirip kullanmasıdır. Soru geldiğinde önce belgeler aranır, bulunan bölümler modele verilir, cevap bu kaynağa dayanarak yazılır. Böylece güncel ve kuruma özel bilgiyle çalışılır.
RAG neden gerekir?
Dil modelleri eğitim verisiyle sınırlıdır. Şirketinizin fiyat listesini, iç prosedürlerini ya da geçen hafta yayınlanan bir duyuruyu bilmezler. Bu bilgiyi her soruda elle yapıştırmak da mümkün değildir, çünkü belgeler modelin tek seferde işleyebileceğinden çok daha büyüktür. RAG bu boşluğu kapatır. Soru sorulduğu anda ilgili birkaç paragraf bulunur ve yalnız onlar modele verilir.
Akış nasıl kurulur?
Hazırlık aşamasında belgeler düzenli parçalara bölünür, her parça anlamını temsil eden sayısal bir vektöre çevrilir ve bir veritabanına yazılır. Soru geldiğinde aynı işlem soruya uygulanır ve en yakın parçalar bulunur. Bu parçalar prompt’un içine eklenir, model cevabı yalnız bu malzemeyle yazar. İyi kurulmuş sistemlerde cevabın sonunda hangi belgeden yararlanıldığı da gösterilir, böylece kullanıcı doğrulayabilir.
Modeli yeniden eğitmekten farkı
İki yöntem farklı işler için uygundur. İnce ayar, modelin üslubunu ve belirli bir görevdeki davranışını değiştirir, ama yeni bilgi eklemenin pahalı ve yavaş yoludur. RAG ise bilgiyi modelin dışında tutar. Bir belge güncellendiğinde yalnız o parça yeniden işlenir, modele dokunulmaz. Fiyat, stok, prosedür gibi sık değişen bilgilerde RAG neredeyse her zaman daha uygun seçimdir.
Kaliteyi belirleyen ayrıntılar
- Parça boyutu, çok küçük parçalar bağlamı kaybeder, çok büyük parçalar gürültü taşır
- Kaynak hijyeni, eski ve çelişkili belgeler dizinden çıkarılmazsa yanlış cevap üretilir
- Erişim kontrolü, kullanıcının görmemesi gereken belgelerin cevaba sızmaması gerekir
- Bulunamadığında ne yapılacağı, ilgili parça yoksa model tahmin yürütmek yerine bilmiyorum demelidir
- Ölçüm, cevapların kaynağa sadakati ve doğruluğu düzenli olarak örneklemle denetlenir
Pazarlama tarafında en yaygın kullanımı site içi asistanlardır. Hizmet sayfaları, sık sorulan sorular ve fiyatlandırma bilgisi dizine alındığında, ziyaretçi kendi sorusunu kendi cümleleriyle sorabilir. Aynı yapı ekip içinde de işe yarar. Marka kılavuzu, geçmiş teklifler ve süreç dokümanları tek bir kaynakta toplandığında, yeni katılan biri aradığı bilgiyi klasörler arasında dolaşmadan bulur.