İnsanlar telefonda sessizliği daha çabuk fark eder
Bir sohbet arayüzü, bir saniyelik düşünme süresini yazıyor göstergesinin arkasına saklayabilir. Telefon görüşmesi bunu yapamaz. Arayan kişi cümlesini bitirip sessizlik duyduğunda, bunu kafa karışıklığı, kopmuş bağlantı veya kendisini anlamayan bir sistem olarak algılayabilir. Bu yüzden son yanıt doğru olsa bile gecikme, etkileşimin tamamının tonunu değiştirir.
Gecikme birikir
Sesli ajanın tek bir gecikme değeri yoktur. Bir zincir vardır: konuşmanın sonunu algılama, sesi yazıya çevirme, bağlamı dil modeline gönderme, ilk yararlı token’ları alma, ses üretme ve bu ses örneklerini görüşmeye geri taşıma. Telefoni aktarımı da bir katman ekler. Zincirin geri kalanı sıralı ve yavaş kalıyorsa yalnızca bir bileşeni iyileştirmek nadiren deneyimi düzeltir.
Cally gecikmeyi bir mimari sorunu olarak ele alır
Cally bu zincirin tamamını kendi altyapısında çalıştırır: Cally VAD, Cally STT, Cally’nin dil motoru ve Cally TTS doğrudan görüşmeye bağlıdır. Uçtan uca hedef 600 milisaniyenin altındadır. Katmanlar birlikte çalışacak şekilde tasarlandığı için bir adımda yaşanan anlık yavaşlık görüşmeyi dondurmaz; yerleşik yedekleme bunu arayana hissettirmeden karşılar.
İlk yanıtın hızı tek hedef değildir
Hızlı konuşan ama söz kesmelerini dikkate almayan bir ajan yine yapay hissettirir. Düşük gecikmeli sistemler, arayan araya girdiğinde konuşmayı durdurmalı, gerçekte hangi sözlerin duyulduğunu anlamalı ve doğru konuşma durumundan devam etmelidir. Cally, ses oynatma zamanlamasını karakter veya sözcük düzeyinde izler. Böylece arayan söz kestiğinde tamponlanan ses temizlenebilir ve geçmişte yalnızca gerçekten oynatılan sözcükler kalır.
Gecikmeyi kıyaslama testiyle değil görüşmeyle ölçün
Yapay bir performans testi, tek başına çalışan bir modelin bir token’ı ne kadar hızlı döndürdüğünü gösterebilir. Operasyon ekipleri ise arayanın deneyimini ölçmelidir: konuşmasının bitişinden ilk duyulabilir yanıta kadar geçen süre, söz kesmeden sonra toparlanma, uzun yanıt davranışı, ağdaki değişkenlik ve yedek mekanizmaların davranışı. En iyi gecikme hedefi, sıralama tablosundaki bir sayı değil, gerçek koşullarda hızlı karşılık veren bir görüşmedir.
Ses platformunu değerlendirirken yalnızca LLM performansını değil, gecikmenin tüm yolunu sorun. Arayan, işlem zincirinin tamamını deneyimler.