Duyguyu Kelimelerden Önce Duymak: Belzeka'da Paralinguistik Analiz

Bir müşteri "tamam, anladım" dediğinde gerçekten anlamış mıdır, yoksa artık tartışmaktan yorulmuş mudur? Metin ikisinde de aynıdır. Fark sesin içindedir. Belzeka'da duygu analizini bu farkı yakalamak üzerine kurduk.

Terapi odasından çağrı merkezine

Psikoloji eğitimi bize ilk derste şunu öğretir: insanlar ne söylediklerinden çok nasıl söylediklerini iletir. Terapi odasında danışanın cümlesinden önce sesindeki titremeyi, duraksamasını, hızlanmasını dinleriz.

Belzeka ekibine katıldığımda karşımdaki soru basitti: Bir kurumu ya da şirketi arayan kişinin gerçek duygu durumunu, yapay zekâ ile konuşurken nasıl anlarız? Çoğu sistem bu soruya konuşmayı yazıya çevirip bir dil modeline "bu kişi kızgın mı?" diye sorarak cevap veriyor. Biz bunun yetmediğini çok erken gördük.

Bu yazıda CX tasarımcısı ve psikolog olarak yazılım ekibimizle nasıl çalıştığımı, duygu durumunu ses verisinden nasıl çıkardığımızı ve bunun neden basit bir LLM kararından farklı olduğunu anlatıyorum.

Neden duygu durumu bir LLM'in kararına bırakılamaz?

Klasik yaklaşımda ses önce STT (Speech-to-Text) katmanından geçer ve yazıya dökülür. Ardından bir dil modeli bu metni okuyup duygu etiketi verir. Bu yöntemin üç temel sorunu var:

1. Sesin yarısı yazıya geçmez. Ses tonu, konuşma hızı, iç çekme, sesin yükselmesi metinde kaybolur. "Peki" kelimesi kabullenmeyi de, bastırılmış öfkeyi de taşıyabilir.
2. Metin yanıltabilir. Türkçede kibar kalıplar çok yaygındır. "Rica ederim, sorun değil" diyen biri sesiyle tam tersini söyleyebilir. Yalnızca metne bakan model bunu "pozitif" diye işaretler.
3. LLM bir tahmin üretir, ölçüm yapmaz. Dil modeli bağlamdan makul bir yorum çıkarır ama bu yorum tekrarlanabilir, ölçülebilir akustik bir kanıta dayanmaz. Aynı konuşmaya farklı zamanlarda farklı etiketler verebilir.

Kurumsal bir çağrı merkezinde bu fark kritik. Hayal kırıklığı yaşayan bir müşteriyi zamanında insan temsilciye aktarmak ile onu kaybetmek arasındaki çizgi tam burada çiziliyor.

Üç katmanlı bakış: Duygu, tutum ve akustik

İki kişi arasındaki bir konuşmayı analiz ederken kullandığımız kavramları üç grupta topluyoruz. Her katman bir öncekinin göremediğini tamamlıyor.

Duygu ve tutum analizi (Sentiment Analysis)

Konuşmanın genel yönünü ve kişinin hizmete karşı tutumunu ölçer.

• Pozitif, negatif ve nötr duygu eğilimi (Polarity)
• Duygusal ton (Emotional Tone)
• Memnuniyet ve memnuniyetsizlik (Satisfaction / Dissatisfaction)
• Hayal kırıklığı (Frustration)
• Güven ve güvensizlik (Trust / Distrust)

Duygusal durum tanıma (Emotion Recognition)

Kişinin o anda yaşadığı belirli duyguyu tanımlar.

• Öfke (Anger)
• Üzüntü (Sadness)
• Kaygı (Anxiety)
• Hayal kırıklığı (Frustration)
• Sevinç ve memnuniyet (Happiness / Satisfaction)
• Sakinlik (Calmness)

Konuşmanın akustik ve davranışsal analizi (Paralinguistic Analysis)

Kelimelerin dışında kalan her şeyi, yani sesin kendisini inceler. Belzeka'yı farklı kılan katman budur.

• Ses tonu ve perde değişimi (Pitch / Intonation)
• Konuşma hızı (Speech Rate)
• Ses şiddeti (Loudness)
• Duraksama ve sessizlik süreleri (Pauses / Silence)
• Söz kesme ve konuşma sırası dinamikleri (Interruption / Turn-taking)
• Konuşma akıcılığı (Fluency)

İlk iki katman büyük ölçüde "ne söylendiği" ile ilgilenir. Paralinguistik analiz ise "nasıl söylendiğini" ölçer. Bir psikolog için asıl veri genellikle burada saklıdır.

Duyguyu STT'den önce yakalamak

Belzeka'da duygu analizini metinden başlatmıyoruz. Ses verisi STT katmanına girmeden önce ayrı bir akustik analiz hattından geçiyor.

Bu hatta ses dalgasının kendisinden özellikler çıkarıyoruz: perde (pitch) ve perdedeki dalgalanmalar, enerji ve ses şiddeti, konuşma ve sessizlik oranı, hece hızı, söz kesmelerin sıklığı. Bu sinyaller kelimelerden bağımsızdır. Arayan kişi tek kelime etmese bile iç çekişi, uzayan sessizliği ya da yükselen sesi sistem tarafından yakalanır.

Paralel olarak STT katmanı konuşmayı yazıya döker ve dil modeli metnin anlamını yorumlar. Son adımda iki kanalı birleştiriyoruz:

• Akustik kanal "nasıl" söylendiğini ölçer.
• Dilsel kanal "ne" söylendiğini yorumlar.
• Birleşik karar ikisi çeliştiğinde, örneğin kibar kelimeler ama gergin bir sesle karşılaştığında, bu çelişkiyi ayrı bir sinyal olarak işaretler.

Böylece duygu durumu tek bir modelin tahmininden değil, ölçülebilir akustik kanıt ile dilsel bağlamın birlikte değerlendirilmesinden çıkıyor.

Psikoloji ile yazılım aynı masada

Bu sistemi tek başına bir yazılım ekibi kuramazdı, tek başına bir psikolog da. Belzeka'daki asıl fark, iki disiplinin her test turundan sonra aynı veriye bakması.

Modeli geliştirme döngümüz şöyle işliyor:

1. Test görüşmeleri yapılır, analiz hemen çıkar. İzinli katılımcılarla, gerçek çağrı merkezi senaryolarına göre kurguladığımız Türkçe görüşmelerde sistem, akustik ve dilsel duygu sinyallerini zaman çizelgesi üzerinde raporlar.
2. Psikolojik değerlendirme. Ben ve ekip, özellikle sistemin emin olmadığı ya da iki kanalın çeliştiği anları dinleriz. "Burada ses yükseliyor ama bu öfke değil, kaygı" gibi klinik ayrımları işaretleriz.
3. Etiketler eğitim verisine döner. Bu uzman etiketleri, anonimleştirilmiş ses verisiyle eşleşerek akustik modelin eğitim setine girer. Model, Türkçe konuşan insanların duyguyu sesle nasıl ifade ettiğini bu izinli ve simüle görüşmelerden öğrenir. Kurumlara ait çağrı verileri model eğitiminde kullanılmaz.
4. Yazılım ekibi uygular. Eşik değerleri, eskalasyon kuralları ve diyalog akışları bu bulgulara göre güncellenir. Örneğin hayal kırıklığı sinyali belirli bir seviyeyi aşınca görüşme insan temsilciye aktarılır.
5. Döngü tekrar eder. Her yeni test turu sistemi biraz daha keskinleştirir.

Bu yaklaşımın en değerli yanı şu: duygu etiketleri bir modelin kendi kendine ürettiği tahminler değil, ses verisi üzerinde psikolojik uzmanlıkla doğrulanmış kayıtlar. Türkçe paralinguistik veri literatürde hâlâ çok sınırlı. Bu yüzden kendi verimizi, kendi uzmanlığımızla üretmek zorundaydık.

Türkiye'de sayılı bir adım

Türkçe konuşmada duygu durumunu, STT öncesinde ses verisinden ve psikolojik uzman doğrulamasıyla analiz eden sistem Türkiye'de sayılı. Kurumsal ölçekte, gerçek zamanlı çağrılarda bunu çalıştıran proje sayısı ise daha da az. Belzeka'da bu işin bir parçası olmaktan gurur duyuyorum.

Bizim için bu bir teknik başarıdan fazlası. Bir çağrı merkezini arayan kişi çoğu zaman bir sorunla, bazen bir kaygıyla arıyor. Onun sesindeki gerginliği duyan bir sistem, doğru anda doğru tepkiyi verebilir: sakinleştirir, açıklar ya da onu bir insana bağlar.

Kelimeler ne dediğimizi anlatır. Ses ise nasıl hissettiğimizi. İyi bir çağrı merkezi ikisini de duymalı.

Yazar hakkında: Psk. Berke Kurucu, Belzeka'da CX tasarımcısı olarak çalışan bir psikolog. Görüşmelerin duygu durumu analizini ve müşteri deneyimi tasarımını yürütüyor.

Psikoloji, iletişim ve insan davranışı üzerine diğer yazılarını okumak için Berke Kurucu'nun kişisel sitesini ziyaret edin: pskberkekurucu.com

Belzeka'nın kurumlar için sesli yapay zekâ çağrı merkezi çözümlerini yakından inceleyin.