RAG nedir?
RAG (Retrieval-Augmented Generation), bir dil modelinin cevap üretmeden önce şirketinizin belgelerinden ilgili bölümleri bulup bağlam olarak kullanmasını sağlayan bir yapay zeka mimarisidir. Böylece model, eğitildiği genel bilgiye değil sizin güncel sözleşme, prosedür ve ürün dokümanlarınıza dayanarak cevap verir ve cevabın hangi kaynaktan geldiğini gösterebilir.
Tanım
RAG (Retrieval-Augmented Generation), bir dil modelinin cevap üretmeden önce şirketinizin belgelerinden ilgili bölümleri bulup bağlam olarak kullanmasını sağlayan bir yapay zeka mimarisidir.
RAG nasıl çalışır?
RAG iki adımdan oluşur. Önce belgeleriniz küçük parçalara bölünür, her parça bir embedding modeliyle sayısal vektöre çevrilir ve bir vektör veritabanına yazılır. Kullanıcı soru sorduğunda soru da vektöre çevrilir, anlamca en yakın parçalar bulunur ve bu parçalar soruyla birlikte büyük dil modeline gönderilir. Model cevabını bu bağlama dayanarak yazar.
Ne zaman RAG kullanılır?
Bilginin sık değiştiği ve cevabın kaynağının gösterilmesi gereken her yerde: iç prosedürler, İK yönetmelikleri, ürün kataloğu, teknik dokümanlar, müşteri destek arşivi. Modeli yeniden eğitmek gerekmez; yeni bir PDF eklendiğinde dizin güncellenir ve asistan onu kullanmaya başlar. Modelin üslubunu veya formatını değiştirmek istiyorsanız fine-tuning ayrıca düşünülebilir.
Türkiye’de RAG kurarken nelere dikkat edilir?
Belgeler çoğu zaman kişisel veri içerir. Hangi belgenin dizine gireceği, verinin hangi bölgede saklanacağı ve kimin hangi belgeye erişebileceği KVKK açısından tasarım aşamasında belirlenmelidir. Türkçe eklemli bir dil olduğu için anlamsal aramayı anahtar kelime aramasıyla birleştirmek genellikle daha iyi sonuç verir. Cevapta kaynak göstermek, halüsinasyonu fark etmeyi kolaylaştırır.
İlgili terimler
- LLM (Büyük Dil Modeli)LLM (Large Language Model, büyük dil modeli), çok büyük metin verisiyle eğitilmiş ve bir metnin devamını tahmin ederek soru cevaplayan, özetleyen, çeviren ve yazan bir yapay zeka modelidir.
- Embedding (vektör temsili)Embedding, bir kelimeyi, cümleyi, belgeyi veya görseli anlamını koruyacak şekilde sabit uzunlukta bir sayı dizisine (vektöre) çeviren ve benzer içerikleri birbirine yakın konumlandıran bir temsil yöntemidir.
- Vektör veritabanıVektör veritabanı, metin, görsel veya ses gibi içerikleri temsil eden sayısal vektörleri saklayan ve bir sorguya anlamca en yakın kayıtları hızlıca bulan bir veritabanıdır.
- Yapay zeka halüsinasyonuYapay zeka halüsinasyonu, bir dil modelinin gerçekte var olmayan bir bilgiyi, kaynağı veya rakamı akıcı ve kendinden emin bir dille doğruymuş gibi üretmesi durumudur.
- Fine-tuning (ince ayar)Fine-tuning (ince ayar), önceden eğitilmiş bir yapay zeka modelini belirli bir görev, üslup veya çıktı biçimi için kendi örnek verilerinizle ek eğitimden geçirme işlemidir.
Sık sorulan sorular
RAG ile fine-tuning arasındaki fark ne?
RAG modele bilgiyi soru anında verir; belgeler değişince sadece dizini güncellersiniz. Fine-tuning ise modelin üslubunu veya belirli bir görevdeki davranışını eğitimle değiştirir. Şirket bilgisine dayalı soru-cevap için çoğu zaman RAG yeterlidir.
RAG halüsinasyonu tamamen ortadan kaldırır mı?
Hayır, ama belirgin şekilde azaltır. Modelin yalnız bulunan kaynaklara dayanması, kaynak göstermesi ve kaynak yoksa 'bilmiyorum' demesi istenebilir. Cevap kalitesi büyük ölçüde belgelerin doğru bulunmasına bağlıdır.
Türkçe belgelerle RAG çalışır mı?
Evet. Türkçeyi iyi temsil eden çok dilli bir embedding modeli seçmek ve belgeleri anlamlı parçalara bölmek, Türkçe aramada sonucu en çok etkileyen iki karardır.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.