İnsanlar telefonda sessizliği daha çabuk fark eder
Bir sohbet arayüzü, bir saniyelik düşünme süresini yazıyor göstergesinin arkasına saklayabilir. Telefon görüşmesi bunu yapamaz. Arayan kişi cümlesini bitirip sessizlik duyduğunda, bunu kafa karışıklığı, kopmuş bağlantı veya kendisini anlamayan bir sistem olarak algılayabilir. Bu yüzden son yanıt doğru olsa bile gecikme, etkileşimin tamamının tonunu değiştirir.
Gecikme birikir
Sesli ajanın tek bir gecikme değeri yoktur. Bir zincir vardır: konuşmanın sonunu algılama, sesi yazıya çevirme, bağlamı dil modeline gönderme, ilk yararlı token’ları alma, ses üretme ve bu ses örneklerini görüşmeye geri taşıma. Telefoni aktarımı da bir katman ekler. Zincirin geri kalanı sıralı ve yavaş kalıyorsa yalnızca bir bileşeni iyileştirmek nadiren deneyimi düzeltir.
Cally gecikmeyi bir mimari sorunu olarak ele alır
Cally’nin özellik dokümanı; SIP akışı, VAD, STT, dil modeli çıkarımı ve metin seslendirme boyunca 600 milisaniyenin altında uçtan uca yanıt süresini tarif eder. Sistem, makine üzerinde çalışan FireRedVAD’i RMS yedek mekanizmasıyla, gerçek zamanlı STT sağlayıcılarıyla ve çıkarımı birden fazla sağlayıcıya gönderip kullanılabilir ilk yanıtların en hızlısını seçebilen çok modelli yarış moduyla birleştirir. Otomatik yedek sağlayıcıya geçiş de tek bir sağlayıcının zaman aşımının görüşmeyi dondurma riskini azaltır.
İlk yanıtın hızı tek hedef değildir
Hızlı konuşan ama söz kesmelerini dikkate almayan bir ajan yine yapay hissettirir. Düşük gecikmeli sistemler, arayan araya girdiğinde konuşmayı durdurmalı, gerçekte hangi sözlerin duyulduğunu anlamalı ve doğru konuşma durumundan devam etmelidir. Cally, ses oynatma zamanlamasını karakter veya sözcük düzeyinde izler. Böylece arayan söz kestiğinde tamponlanan ses temizlenebilir ve geçmişte yalnızca gerçekten oynatılan sözcükler kalır.
Gecikmeyi kıyaslama testiyle değil görüşmeyle ölçün
Yapay bir performans testi, tek başına çalışan bir modelin bir token’ı ne kadar hızlı döndürdüğünü gösterebilir. Operasyon ekipleri ise arayanın deneyimini ölçmelidir: konuşmasının bitişinden ilk duyulabilir yanıta kadar geçen süre, söz kesmeden sonra toparlanma, uzun yanıt davranışı, ağdaki değişkenlik ve yedek mekanizmaların davranışı. En iyi gecikme hedefi, sıralama tablosundaki bir sayı değil, gerçek koşullarda hızlı karşılık veren bir görüşmedir.
Ses platformunu değerlendirirken yalnızca LLM performansını değil, gecikmenin tüm yolunu sorun. Arayan, işlem zincirinin tamamını deneyimler.