En pahalı cevap, yanlış olandır
Bir müşteri, hizmet aldığı kurumun çağrı merkezini arıyor ve sözleşmesindeki bir ödemenin son tarihini soruyor. Telefondaki yapay zeka asistanı akıcı, kendinden emin bir sesle bir tarih söylüyor. Tek sorun: o tarih hiçbir belgede yazmıyor. Model, benzer sorulara verilmiş cevaplardan "makul görünen" bir tarih üretmiş.
Bu duruma hallucination (halüsinasyon) deniyor ve büyük dil modellerinin en bilinen zayıflığı. Bir sohbet uygulamasında can sıkıcı olan bu hata, bir kurumun çağrı merkezinde doğrudan bir güven ve itibar sorununa dönüşür. Yanlış bir randevu saati, hiç var olmayan bir prosedür ya da hatalı bir borç tutarı, kurumun sesiyle söylenmiş bir bilgidir.
Bu yüzden Belzeka'da asistanlarımıza öğrettiğimiz en önemli davranışlardan biri, kulağa en basit gelenidir: emin olmadığında "bilmiyorum" demek.
Akıcı konuşmak, doğru konuşmak değildir
Dil modelleri bir sonraki kelimeyi tahmin ederek çalışır. Bu tahmin çoğu zaman şaşırtıcı derecede iyidir, ama modelin içinde "bu bilgiyi gerçekten biliyor muyum?" diye soran yerleşik bir mekanizma yoktur. Bilmediği bir konuda da, bildiği bir konudaki kadar akıcı ve emin konuşabilir.
Kurumsal bir çağrı merkezinde bu, tasarımla çözülmesi gereken bir sorundur. Modelin "dürüst olmasını" ummak yerine, sistemin kendisi cevabın nereden geldiğini kontrol etmelidir. Doğru tasarlanmış bir yapay zeka asistanında üç ilke bir arada çalışır:
- Cevaplar doğrulanmış kaynaklara dayanır.
- Kaynakta karşılığı olmayan soruda asistan tahmin yürütmez.
- Cevaplanamayan soru, bağlamıyla birlikte doğru kişiye aktarılır.
1. Cevap, kaynağı olan cevaptır (grounding)
Belzeka asistanları bir soruyu cevaplarken modelin genel bilgisine değil, kurumun kendi onaylı bilgi kaynaklarına başvurur: sözleşme ve politika metinleri, ürün ve hizmet rehberleri, SSS dokümanları, randevu ve kayıt sistemleri. Bu yaklaşıma grounding (cevabı bir kaynağa dayandırma) denir ve arkasındaki teknik altyapı RAG (Retrieval-Augmented Generation) mimarisidir. RAG'in nasıl çalıştığını ayrı bir yazımızda ayrıntılı anlatmıştık.
Burada önemli olan nokta şu: model, bulunan kaynağın söylediğinin dışına çıkmamak üzere yönlendirilir. Cevap, kaynağın bir özeti ya da ondan çıkarılan net bir bilgidir; modelin boşlukları kendi tahminleriyle doldurduğu bir metin değildir.
2. Kaynak yoksa, cevap da yok: "Bilmiyorum."
Peki aranan bilgi kaynaklarda hiç yoksa ya da bulunan kaynak soruyla yeterince ilgili değilse? İşte burada çoğu sistemin zayıf noktası ortaya çıkar. Model, bir şeyler söylemeye eğilimlidir.
Belzeka'da bu durum ayrı bir karar adımıdır. Sistem, getirilen kaynakların soruyla ne kadar örtüştüğünü değerlendirir ve kurumun belirlediği bir güven eşiğinin (confidence threshold) altında kalan durumlarda cevap üretmez. Literatürde bu davranışa abstention, yani bilinçli olarak cevap vermekten kaçınma denir.
Arayan kişi bu durumda belirsiz ya da uydurma bir cevap yerine şuna benzer bir yanıt duyar:
"Bu konuda size kesin bir bilgi veremiyorum. Sizi bu konuyu takip eden birimimize aktarıyorum, görüşmemizin özetini de iletiyorum."
Bu cümle, sistemin bir eksikliği değil, tasarımının bir parçasıdır. "Bilmiyorum" diyebilen bir asistanın verdiği diğer tüm cevaplar daha değerli hâle gelir. Çünkü arayan kişi, asistanın bir şey söylediğinde bunun bir kaynağa dayandığını bilir.
3. "Bilmiyorum" bir son değil, bir yönlendirmedir
"Bilmiyorum" deyip görüşmeyi orada bırakan bir asistan, sorunu sadece ertelemiş olur. Asıl değer, sorunun doğru kişiye ulaşmasındadır. Bu yüzden Belzeka'da cevaplanamayan bir soru bir aktarım akışını başlatır (human-in-the-loop):
- Doğru birim: Sorunun konusu ve niyeti analiz edilerek görüşme, kurumun tanımladığı yönlendirme kurallarına göre ilgili birime ya da uzmana aktarılır.
- Bağlamıyla aktarım (warm handoff): Temsilci görüşmeyi devraldığında, arayan kişinin ne sorduğunu, asistanın hangi kaynaklara baktığını ve neden cevap veremediğini gösteren bir özet görür. Arayan kişi derdini baştan anlatmak zorunda kalmaz.
- Mesai dışı durumlar: Uygun bir temsilci yoksa talep kayıt altına alınır ve geri dönüş planlanır; soru havada kalmaz.
"Bilmiyorum" sistemi nasıl daha akıllı hâle getirir?
Cevaplanamayan her soru, aynı zamanda kurum için değerli bir sinyaldir. Asistanın sık sık "bilmiyorum" dediği konular, bilgi kaynaklarında bir boşluk olduğunu gösterir. Belzeka'nın yönetim panelinde bu sorular raporlanır; kurum ilgili dokümanı güncellediğinde ya da yeni bir bilgi eklediğinde, asistan bir sonraki benzer soruyu kaynağa dayanarak cevaplayabilir hâle gelir.
Böylece sistem, uydurarak değil, eksiklerini görünür kılarak gelişir. Zamanla insan temsilcilere aktarılan sorular, gerçekten insan uzmanlığı gerektiren konulara doğru daralır.
Kurumlar bir yapay zeka çağrı merkezini değerlendirirken ne sormalı?
Bir yapay zeka çağrı merkezi çözümünü değerlendirirken demo sırasında verilen akıcı cevaplar kadar, sistemin bilmediği sorulara nasıl davrandığı da test edilmelidir. Birkaç pratik soru:
- Asistan, kaynaklarda olmayan bir soruya ne cevap veriyor? Tahmin mi yürütüyor, yoksa açıkça bilmediğini mi söylüyor?
- Verilen bir cevabın hangi kaynağa dayandığı görülebiliyor mu?
- Cevap verilemeyen görüşmeler kime, hangi bilgiyle aktarılıyor?
- Cevaplanamayan sorular raporlanıyor ve bilgi kaynaklarını iyileştirmek için kullanılabiliyor mu?
Bu konuyu daha geniş bir çerçevede gerçek bir yapay zeka çağrı merkezi ile demo ürünü arasındaki fark yazımızda da ele almıştık.
Sonuç: Güven, doğru cevapla değil, dürüst sınırlarla kurulur
Her soruya cevap veren bir asistan etkileyici görünebilir; ama kurumsal iletişimde güveni kazandıran, verilen cevabın doğru olduğundan emin olabilmektir. Belzeka, kurumlar için geliştirdiği yapay zeka çağrı merkezinde bu ilkeyi tasarımın merkezine koyar: kaynağı olan cevap, kaynağı yoksa "bilmiyorum" ve ardından doğru kişiye aktarım.
Doğru cevabın ilk adımı, bazen "bilmiyorum" demektir.
Sıkça Sorulan Sorular
Yapay zeka çağrı merkezlerinde halüsinasyon nedir? Halüsinasyon, dil modelinin bilmediği bir konuda kaynağı olmayan ama inandırıcı görünen bir bilgi üretmesidir. Kurumsal çağrı merkezlerinde bu durum yanlış tarih, tutar veya prosedür bilgisi verilmesine yol açabileceği için önemli bir risktir.
Yapay zeka asistanının "bilmiyorum" demesi bir eksiklik midir? Hayır. Kaynakta karşılığı olmayan bir soruda tahmin yürütmek yerine bunu açıkça söylemek, asistanın verdiği diğer cevapların güvenilirliğini artırır. Belzeka'da bu davranış, cevabın ardından soruyu doğru kişiye aktaran bir akışın parçasıdır.
Belzeka asistanı cevap veremediği bir soruda ne yapar? Görüşmeyi, kurumun tanımladığı yönlendirme kurallarına göre ilgili birime veya uzmana aktarır. Aktarım sırasında temsilciye görüşmenin özeti ve asistanın neden cevap veremediği iletilir, böylece arayan kişi derdini baştan anlatmak zorunda kalmaz.
Cevaplanamayan sorular sistemi nasıl geliştirir? Asistanın cevap veremediği konular raporlanır ve bilgi kaynaklarındaki boşlukları gösterir. Kurum bu boşlukları doldurdukça asistan benzer soruları doğrulanmış kaynaklara dayanarak cevaplayabilir hâle gelir.