Dalam dunia agen suara, latensi adalah mata uang utama. Ketika pengguna menunggu jawaban, asisten melakukan tiga tugas: mengenali pidato, memikirkan jawaban, dan mensintesis jawaban suara. Jika setiap tahap memakan sepuluh milidetik, dialog tidak lagi terasa hidup. Sebuah rilis baru-baru ini NVIDIA, diumumkan pada Agustus 2026, menunjukkan bahwa sintesis pidato tidak lagi menjadi penghalang: model NVIDIA Magpie TTS memberikan bingkai audio pertama dalam 32 milidetik pada akselerator top-tier dan berbicara 12 bahasa.
Apa model adalah dan mengapa hal itu penting
TTS Magpie NVIDIA adalah sistem teks terbuka untuk berbicara dengan 364 juta parameter. Ini bukan hanya pemeriksaan penelitian: untuk produksi, NVIDIA menawarkan layanan stack NVIDIA NIM, yang memungkinkan Anda menyebarkan sintesis multibahasa pada server Anda sendiri - di mana data perusahaan Anda tinggal.
Versi saat ini mendukung 12 bahasa: Bahasa Inggris, Spanyol, Prancis, Jerman, Italia, Vietnam, Bahasa Mandarin, Hindi, Jepang, ditambah tiga tambahan baru - Arab, Korea, dan Portugis Brasil. Bahasa yang ada juga ditingkatkan: data pelatihan sudah segar dan modelnya sudah disempurnakan, jadi kualitas bicara meningkat tanpa mengubah arsitektur.
Sebuah detail yang menarik: suara tidak terstruktur sebagai entitas terpisah per bahasa, tapi sebagai representasi multibahasa bersama dari pembicara. Satu "speaker" dapat berbicara semua bahasa yang didukung, dengan varian laki-laki dan perempuan tersedia untuk setiap bahasa. Hal ini nyaman untuk produk yang membutuhkan suara merek tunggal di beberapa daerah.
Code- switching - ketika speaker switch antara bahasa dalam satu frase - layak disebutkan khusus. Untuk Hindi dan Jepang, dukungan ini telah diperluas: sebuah kamus berbasis IPA-ke-foneme pengkonversi dan pengucapan yang dapat disesuaikan digunakan.
Latensi: apa itu semua tentang
Materi yang diterbitkan termasuk pengukuran kinerja yang diambil pada GPU NVIDIA sendiri menggunakan NIM NVIDIA. Matrik kuncinya adalah TTFA (waktu dari permintaan ke audio pertama) dan RTFX (berapa kali lebih cepat model menghasilkan daripada waktu nyata). Data adalah rata-rata tiga run.
| Akselerator | TTFA, 1 stream | RTFX, 1 stream | TTFA, 64 stream | RTFX, 64 stream |
|---|---|---|---|---|
| NVIDIA B200 | 32 md | 12.1 × | 239 md | 319.81 × |
| NVIDIA H100 | 47 md | 14,7 × | 275 md | 290.79 × |
| DGX Spark | 53 md | 9.8 × | 962 md | 75.88 × |
| NVIDIA A100 | 79 md | 12.2 × | 395 md | 197 × |
Apa arti angka-angka ini dalam praktek.
- Percakapan tunggal. Pada satu arus, audio pertama tiba di 3279 meter tergantung pada GPU. Untuk dialog alami, anggaran latensi yang disarankan berakhir sekitar 200 meter. Pengenalan suara dan model bahasa juga memakan waktu, tetapi ketika TTS cocok dalam 32 m (seperti pada B200), sintesis hampir tidak mempengaruhi keseluruhan gambar - sisa anggaran dapat dialokasikan ke ASR dan LLM.
- Banyak percakapan paralel. Dengan 64 aliran arus pada B200, waktu untuk audio pertama tumbuh menjadi 239 meter, tetapi melalui mencapai sekitar 320 × real time. Dengan kata lain, model mensintesis pidato satu menit ratusan kali lebih cepat daripada yang dimainkan - satu server dapat menangani seluruh call center.
Sebuah nuansa penting: sebuah pos pemeriksaan dengan bobot yang sama tersedia pada Hugging Face - Ini dimaksudkan untuk penelitian dan fine- tuning. Pengukuran, bagaimanapun, mengacu pada penyebaran melalui NIM NVIDIA, yaitu, tumpukan produksi teroptimalkan. Jika Anda perlu diduga latensi di bawah beban, NIM adalah apa yang harus Anda andalkan.
Bagaimana model berhasil begitu cepat
Kecepatan adalah hasil dari dua perubahan arsitektur.
- Tumpukan bingkai. Decoder sekarang memprediksi dua frame audio per langkah bukan satu. Jumlah iterasi decoder setengah, yang berarti setengah pekerjaan perhitungan untuk setiap segmen pidato.
- Transformer lokal. Mekanisme perhatian bekerja dengan konteks lokal daripada seluruh urutan sekaligus. Ini mengurangi kompleksitas komputasional pada audio panjang dan mempercepatnya. Yang mengatakan, penulis menggambarkan rincian bagian ini arsitektur agak jarang.
Bersama-sama, perubahan ini menjaga latensi dalam puluhan milidetik bahkan pada perangkat keras relatif terjangkau.
Cascade bukan kotak hitam
Pengembang produk suara sering ditawarkan model bicara terpadu: satu panggilan API dan Anda mendapatkan pengakuan, sintesis, dan bahkan tanggapan model. Kelihatannya sederhana, tapi pendekatan ini memiliki sisi negatif: Anda tidak dapat menukar satu komponen dengan yang lain, baik-tune satu lapis, memenuhi persyaratan residensi data, atau bahkan memahami di mana latensi terjadi.
Sebuah arsitektur berskala - dimana pengenalan bahasa (ASR), model bahasa (LLM), dan sintesis (TTS)) bekerja sebagai layanan terpisah - memecahkan masalah ini. Setiap lapisan dapat dikonfigurasi, diperbarui, dan diperbesar secara independen. Bobot terbuka dari TTS Magpie NVIDIA dan ketersediaannya sebagai wadah NVIDIA NIM membuat pendekatan ini menjadi realistis: Anda menyebarkan synthesizer di sebelah data Anda dan mendapatkan latensi yang dapat diprediksi tanpa panggilan ke APIS eksternal.
Dimana menerapkan ini
Ada beberapa skenario dimana multibahasa cepat TTS dengan opsi pengiriman lokal memberikan nilai praktis:
- dukungan pelanggan agen suara - terutama mereka yang beroperasi di berbagai negara;
- asisten medis, dimana data privasi sangat penting;
- perusahaan copilots dimasukkan ke dalam perusahaan mengalir;
- sistem terjemahan yang membutuhkan keluaran suara daripada teks;
- Aplikasi AI percakapan dimana latensi secara langsung mempengaruhi pengalaman pengguna.
Persamaan dari semua kasus ini adalah persyaratan penyebaran: data tidak boleh meninggalkan perimeter organisasi, pengucapan dan suara harus disesuaikan dengan produk, dan perilaku di bawah beban harus tetap dapat diprediksi. Ini adalah apa yang baru NVIDIA Magpie TTS rilis alamat: sebuah model terbuka, maju multibahasa dukungan, minimal latensi, dan tidak ada ketergantungan pada layanan awan dikelola.
