Belzeka-32B CC ile tanışın
Bugün, uzun süredir üzerinde çalıştığımız kendi dil modelimizi duyuruyoruz: Belzeka-32B CC. Belzeka-32B CC, Belzeka'nın yapay zekâ çağrı merkezi platformu için özel olarak fine-tune edilmiş, gerçek zamanlı sesli görüşmelerde çalışmak üzere optimize edilmiş bir büyük dil modelidir.
Tek cümleyle: Belzeka-32B CC, Belzeka'nın sesli yapay zekâ ajanları için geliştirdiği, eş zamanlı token minimizasyonu ve agresif quantization ile çok düşük gecikmede yanıt üreten, kurumun kendi altyapısında çalışabilen bir dil modelidir.
Genel amaçlı dil modelleri; kod yazmaktan şiir yazmaya kadar her şeyi yapmak için tasarlanır. Bir çağrı merkezi asistanının ihtiyacı ise çok daha nettir: karşısındaki kişiyi anlamak, kurum bilgisinden doğru cevabı bulmak ve bunu insan konuşmasının doğal ritmini bozmadan söylemek. Belzeka-32B CC'i bu tek göreve odaklanarak geliştirdik.
Belzeka-32B CC bir laboratuvar modeli değil: tamamen çağrı merkezi senaryolarına göre eğitildi ve canlı görüşmelerde kullanılmak üzere tasarlandı. Bilgi alma, randevu, şikâyet ve talep kaydı, yönlendirme ve tahsilat gibi gerçek çağrı akışları üzerinde 289 saat süren bir fine-tuning süreciyle eğitilen model, iç ölçümlerimizde daha önce kullandığımız dil modellerine göre görev tamamlama oranında yaklaşık %62 artış sağladı.
Neden kendi modelimizi geliştirdik?
Sesli yapay zekâda gecikmenin nereden geldiğini daha önceki yazımızda detaylı anlatmıştık: STT → LLM → TTS zincirinde en büyük pay genellikle dil modeline aittir. Hazır, genel amaçlı modellerle çalışırken üç temel sorunla karşılaştık:
- Gereksiz uzun çıktılar. Genel modeller "kibar ve kapsamlı" olmaya eğitilir; telefonda ise her fazladan cümle, kullanıcının beklediği her fazladan saniye demektir.
- Şişkin prompt'lar. Kurum bilgisi, konuşma geçmişi ve sistem talimatları her turda modele yeniden gönderilir; bu da prefill süresini ve maliyeti artırır.
- Veri egemenliği. Kamu kurumları ve büyük şirketler için konuşma verisinin dışarıdaki bir API'ye gönderilmesi çoğu zaman kabul edilebilir değildir. Kendi modelimiz, Belzeka'nın self-hosted, izole mimarisi içinde, kurumun kendi altyapısında çalışabilir.
Belzeka-32B CC'i ayıran fark: eş zamanlı token minimizasyonu
Belzeka-32B CC'in temel farkı, token minimizasyonunu tek bir aşamada değil, modelin girdisinden çıktısına kadar tüm hat boyunca eş zamanlı uygulamasıdır. Bir token'ın en hızlı işlendiği hâl, hiç üretilmediği ya da hiç gönderilmediği hâldir.
1. Input tarafı: prompt compression ve context pruning
Her konuşma turunda modele giden bağlam, dinamik olarak sıkıştırılır:
- Context pruning: Konuşma geçmişindeki, mevcut niyetle ilgisi kalmamış turlar bağlamdan çıkarılır; geriye yalnızca karar için gerekli olan bilgi kalır.
- Retrieval-aware compression: RAG ile kurum bilgisinden getirilen pasajlar modele ham hâliyle değil, soruyla ilgili kısımlarına indirgenmiş olarak verilir.
- Prefix caching: Değişmeyen sistem talimatları ve kurum profili bir kez işlenir; KV cache üzerinde tutulur ve her turda yeniden hesaplanmaz.
Bu sayede prefill aşaması, konuşma uzadıkça büyüyen bir yük olmaktan çıkar.
2. Output tarafı: telefona göre eğitilmiş kısa yanıtlar
Belzeka-32B CC, toplam 289 saat süren supervised fine-tuning (SFT) ve tercih optimizasyonu (preference optimization) aşamalarında, gerçek çağrı merkezi senaryolarına göre şekillendirilmiş verilerle eğitildi. Sonuç: model, aynı bilgiyi daha az token ile, telefonda söylenmeye uygun, kısa ve net cümlelerle ifade eder. Daha az output token, hem daha düşük decode süresi hem de TTS'e daha erken ulaşan ilk cümle demektir.
3. Decode tarafı: speculative decoding ve streaming
- Speculative decoding: Küçük bir draft model birkaç token'ı önceden tahmin eder, Belzeka-32B CC bunları tek adımda doğrular. Doğru tahmin edilen her token, ana modelin ayrı bir forward pass yapmasına gerek bırakmaz.
- Token streaming: İlk anlamlı cümle parçası hazır olduğu anda TTS'e aktarılır. Kullanıcı, yanıtın tamamının üretilmesini beklemez.
Bu üç katman birbirinden bağımsız değil, aynı anda çalışır; "eş zamanlı" token minimizasyonu derken kastettiğimiz tam olarak budur.
Quantization: daha küçük, daha hızlı, aynı kalite
Modelin hızında ikinci büyük kaldıraç quantization. Belzeka-32B CC, ağırlıklarını ve ara hesaplamalarını daha düşük hassasiyette (low-precision) saklayıp işleyecek şekilde optimize edildi:
- Weight-only quantization (INT4/INT8): Model ağırlıkları düşük bit genişliğinde tutulur; bellek bant genişliği (memory bandwidth) ihtiyacı ciddi şekilde azalır. Decode aşaması büyük ölçüde bellek sınırlı (memory-bound) olduğundan, bu doğrudan hıza yansır.
- FP8 activations: Destekleyen donanımlarda aktivasyonlar FP8 hassasiyette işlenir.
- KV cache quantization: Uzun konuşmalarda büyüyen KV cache de sıkıştırılır; aynı GPU üzerinde daha fazla eş zamanlı görüşme taşınabilir.
- Calibration ve kalite kontrolü: Quantization, gerçek çağrı merkezi verisine benzer bir calibration set ile yapılır ve her sürüm, Türkçe anlama ve doğru yanıt üretme testlerinden geçirilerek kalite kaybı izlenir.
Quantization'ın kurumlar için önemli bir yan faydası daha var: daha küçük bellek ayak izi, Belzeka-32B CC'in on-premise ortamlarda, daha mütevazı donanımlarla da çalışabilmesini sağlar. Bu da veri egemenliği ilkesiyle doğrudan örtüşür.
Performans: iç testlerimizde neler gördük?
Belzeka-32B CC'i iki açıdan ölçtük: Belzeka'da daha önce kullandığımız dil modellerine göre ve sesli yapay zekâ ajanı geliştiren global platformların kullandığı genel amaçlı model kurulumlarına göre. Karşılaştırmaları kendi test ortamımızda ve aynı çağrı merkezi senaryoları üzerinden yaptık. İç benchmark sonuçlarımızda:
- Belzeka-32B CC, Belzeka'da daha önce kullandığımız dil modellerine göre görev tamamlama oranında (task completion rate) yaklaşık %62 artış sağladı. Görev tamamlama oranı; randevu oluşturma, talep kaydı, bilgi verme ve tahsilat gibi bir çağrının amacının sistemde hatasız şekilde tamamlandığı çağrıların oranıdır.
- Karşılaştırdığımız global kurulumlara göre yaklaşık 4,3 kat daha düşük inference maliyeti sundu; yani aynı görüşme hacmini işlemek için gereken cost per token ve cost per call yaklaşık 4,3 kat azaldı.
- Modelin yanıt süresi, yani time to first token (TTFT) 20 milisaniyenin altına indi.
Maliyetteki bu düşüş tesadüf değil, yukarıda anlattığımız iki kaldıracın doğrudan sonucu: token minimizasyonu her görüşmede işlenen ve üretilen token sayısını azaltıyor, quantization ise aynı GPU üzerinde daha fazla eş zamanlı görüşme taşınmasını (higher throughput per GPU) sağlıyor. Daha az token ve daha iyi donanım kullanımı, görüşme başına daha düşük maliyet demek.
Bu rakamlar, Belzeka'nın kendi donanım ve test koşullarında yapılan ölçümlere dayanır; farklı donanım, ağ koşulları ve senaryolarda sonuçlar değişebilir. Uçtan uca bir görüşmede kullanıcının hissettiği toplam gecikme, STT, TTS ve ağ süresini de içerir. Ancak zincirin en ağır halkasını bu seviyeye indirmek, toplam deneyimi insan konuşmasının doğal ritmine çok daha yaklaştırıyor.
Belzeka-32B CC Belzeka platformunda nasıl çalışıyor?
Belzeka-32B CC, Belzeka'nın mevcut orkestrasyon hattına doğrudan entegre çalışır:
- Arayan kişinin konuşması streaming STT ile anlık olarak metne çevrilir.
- Turn detection konuşmanın bittiğini algıladığı anda, sıkıştırılmış bağlam Belzeka-32B CC'e iletilir.
- Belzeka-32B CC, kurum bilgisinden (RAG) beslenerek yanıtı üretir ve ilk cümleyi stream eder.
- TTS, ilk cümleyi beklemeden sese çevirmeye başlar.
Tüm bu hat, kurumun tercihine göre Belzeka'nın izole, self-hosted mimarisi içinde çalışır. Böylece performans kazanımı, veri egemenliğinden ödün vermeden elde edilir.
Sırada ne var?
Belzeka-32B CC, Belzeka asistanlarının canlı görüşmelerinde kullanılıyor. Önümüzdeki dönemde sektöre özel (kamu, sağlık, tahsilat gibi) fine-tune varyantları ve daha geniş Türkçe diyalekt kapsamı üzerinde çalışmaya devam edeceğiz. Belzeka-32B CC'i kendi kurumunuzun senaryolarında görmek isterseniz, ekibimizle bir demo planlayabilirsiniz.
Sıkça Sorulan Sorular
Belzeka-32B CC nedir? Belzeka-32B CC, Belzeka'nın yapay zekâ çağrı merkezi platformu için çağrı senaryoları üzerinde 289 saat fine-tune ettiği, canlı sesli görüşmeler için optimize edilmiş bir büyük dil modelidir. Token minimizasyonu ve quantization sayesinde çok düşük gecikmeyle yanıt üretir.
Token minimizasyonu sesli yapay zekâda neden önemlidir? Dil modelinin işlediği ve ürettiği her token zaman alır. Girdiyi sıkıştırmak, çıktıyı kısa tutmak ve decode adımlarını azaltmak, kullanıcının yanıtı beklediği süreyi doğrudan kısaltır. Aynı zamanda görüşme başına işlenen token sayısı azaldığı için inference maliyetini de düşürür.
Quantization model kalitesini düşürür mü? Doğru yapılmadığında düşürebilir. Bu nedenle Belzeka-32B CC'de quantization, gerçek senaryolara benzer bir calibration set ile yapılır ve her sürüm Türkçe anlama ve yanıt doğruluğu testleriyle kontrol edilir.
Belzeka-32B CC kurumun kendi sunucularında çalışabilir mi? Evet. Belzeka-32B CC, Belzeka'nın self-hosted ve izole mimarisiyle uyumlu olacak şekilde tasarlandı. Quantization sayesinde düşük bellek ayak izine sahip olduğundan on-premise ortamlarda da çalıştırılabilir.
Karşılaştırma verileri hakkında not
Bu yazıda paylaşılan karşılaştırma sonuçları, Belzeka'nın kendi test ortamında gerçekleştirilen iç ölçümlere dayanmaktadır. Test metodolojisi, veri setleri, karşılaştırma kurulumları ve model ağırlıkları kamuya açık olarak paylaşılmamaktadır. Belzeka-32B CC'in geliştirilmesinde kullanılan fine-tuning verileri, token minimizasyonu yöntemleri ve quantization yapılandırmaları, Belzeka'nın ticari bilgi birikiminin bir parçasıdır; bu nedenle söz konusu ayrıntıları gizli tutmayı tercih ediyoruz.
Sonuçları kendi senaryoları üzerinde değerlendirmek isteyen kurumlarla bu süreci memnuniyetle paylaşıyoruz. Kurumsal müşterilerimiz ve değerlendirme aşamasındaki kurumlar için, gizlilik sözleşmesi (NDA) çerçevesinde canlı karşılaştırma oturumları düzenliyoruz.