Nari Labs leads Coval voice AI benchmarks: cara membacanya
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-09-15
Nari Labs mengklaim puncak benchmark TTS/STT Coval. Konteks TTFS, TTFA, WER, dan batas pembacaan benchmark dinamis.
Benchmark voice AI punya papan peringkat yang bergerak. Nari Labs mengumumkan bahwa model Text-to-Speech dan Speech-to-Text mereka kini menduduki puncak benchmark Coval, salah satu benchmark suara yang paling sering dirujuk di industri. Pada pertengahan September 2026, posisinya: STT #1 latency dengan WER kedua, TTS #1 WER dengan latency kedua.
1. Apa yang diukur Coval?
Dua metrik latency jadi intinya. Untuk STT, yang dihitung adalah TTFS (time-to-final-segment): jarak dari user selesai bicara sampai teks akhir keluar. Untuk TTS, yang dihitung adalah TTFA (time-to-first-audio): dari teks masuk sampai chunk audio pertama terdengar. Keduanya menentukan apakah voice agent terasa responsif atau lambat. Metrik kualitasnya berupa Word Error Rate (WER), yaitu persentase kata yang salah ditranskripsi atau diucapkan.
Nari melaporkan Qwen3-ASR Fast mereka berada di TTFS #1 dengan p50 44 ms. Di sisi TTS, mereka mengklaim WER terbaik. Gabungan keduanya menempatkan Nari di Pareto frontier: bukan juara satu di semua sumbu, tapi tidak tertinggal jauh di sumbu mana pun.
2. Mengapa klaim ini perlu dibaca hati-hati?
Coval sendiri mencatat bahwa benchmark-nya bisa berfluktuasi setiap 30 menit. Artinya, posisi #1 hari ini bukan posisi permanen. Ada juga bias pengumuman: yang menulis "kami memimpin" adalah Nari, bukan Coval. Model yang diukur pun hanya yang endpoint-nya tersedia publik, jadi sistem internal perusahaan besar tidak termasuk.
Independent context-nya bisa diperiksa: Coval memang menyediakan infrastruktur evaluasi voice AI dan halaman utamanya menyebut benchmark serta Nari. Qwen3-ASR dan Qwen3-TTS sendiri adalah model yang dirilis di ekosistem Qwen, dan Nari Labs dikenal lewat model TTS open-source Dia sebelumnya.
3. Apa artinya bagi builder voice agent?
Pertama, latency mungkin lebih menentukan daripada WER sempurna. User memaafkan salah dengar sesekali, tapi tidak memaafkan agent yang diam tiga detik. Kedua, benchmark dinamis seperti ini paling berguna sebagai alat shortlist: ambil tiga kandidat teratas, uji dengan audio dan aksen produksi sendiri, lalu ukur latency p95 di jaringan user nyata.
Ketiga, jangan lupa biaya. Nari menyebut diri mereka di quality-cost frontier, tapi angka harga selalu berubah. Kalkulasi ulang saat mau produksi, bukan saat membaca pengumuman. Satu hal lagi: jadikan benchmark ini alat monitoring, bukan alat keputusan final. Ambil tiga model teratas, uji paralel dengan skrip produksi, lalu bandingkan hasilnya di data sendiri. Perubahan peringkat 30 menit sekali tidak akan mengubah keputusan arsitektur, tapi tren tiga bulan bisa. Yang bertahan di puncak beberapa minggu biasanya memang layak jadi kandidat utama evaluation berikutnya. Simpan hasil uji internal sebagai pembanding, supaya pengumuman berikutnya bisa dibaca dengan skeptis yang sehat. Perbandingan independen yang kamu buat sendiri tetap jadi bukti paling relevan untuk produk yang sedang dibangun. Lihat juga bagaimana komunitas open-source merespons: model TTS yang bebas dipakai dan bisa di-host sendiri memberi opsi bagi tim dengan data sensitif. Kombinasi model publik + fine-tuning ringan sering cukup untuk use case internal tanpa kirim audio ke pihak ketiga. Uji dulu di environment terisolasi sebelum memutuskan arsitektur suara untuk produk yang sedang dibangun.
Referensi: https://narilabs.com/blog/nari-labs-leads-coval-voice-ai-benchmarks/