MSEB dari Google Research: implementasi encoder audio sesuai kontrak benchmark dan evaluasi pada empat kelas tugas

Tujuan dan lapisan benchmark

MSEB adalah Massive Sound Embedding Benchmark dari Google Research. Paket ini diinstal sebagai mseb==0.1.0. Benchmark ini terbagi menjadi tiga lapisan.

• types menetapkan tipe Sound, SoundEmbedding, Score, dan TaskMetadata.
• encoder berisi kelas dasar abstrak MultiModalEncoder—kontrak yang diimplementasikan oleh model.
• evaluators berisi evaluator untuk berbagai tugas.

Lapisan-lapisan ini memisahkan deskripsi data, antarmuka model, dan pengukuran kualitas. Kriteria praktisnya: lapisan encoder menetapkan persyaratan untuk encoder, sedangkan evaluators menetapkan persyaratan untuk evaluasi.

Kontrak encoder dan tipe data

encoder berisi kelas dasar abstrak MultiModalEncoder. Kelas ini adalah kontrak yang diimplementasikan oleh model. types menetapkan Sound, SoundEmbedding, Score, dan TaskMetadata.

SoundEmbedding menyimpan embedding berbentuk (N, D) dan stempel waktu berbentuk (M, 2). Stempel waktu menunjukkan awal dan akhir interval dalam detik. Jika M == N, stempel waktu berkorespondensi dengan masing-masing frame. Jika M == 1, embedding berlaku untuk seluruh ujaran. Field embedding dapat berisi N string alih-alih vektor. SoundEmbedding juga mencakup konteks dan statistik encoding, termasuk ukuran input dan embedding.

Score menjelaskan metrik, nilainya, rentang yang diizinkan, dan deskripsinya. TaskMetadata dikumpulkan di akhir evaluasi dan digunakan dalam submission sebenarnya.

Kriteria praktisnya: encoder harus mengembalikan SoundEmbedding dengan bentuk yang benar dan mengisi Score untuk setiap tugas.

Dua contoh encoder: volume dan timbre

Panduan ini mengimplementasikan dua encoder yang berbeda. Yang satu mengukur volume dari waktu ke waktu, sedangkan yang lain mengukur timbre. Keduanya diterapkan pada korpus audio sintetis berukuran kecil. Korpus dibuat di notebook, jadi data tidak perlu diunduh.

Menurut uraian dalam panduan, kedua encoder menunjukkan hasil yang berbeda bergantung pada evaluator. Artinya, pemilihan fitur memengaruhi kualitas pada berbagai tugas. Kriteria praktisnya: kedua pendekatan perlu diuji untuk klasifikasi, klasterisasi, pencarian, dan segmentasi.

Evaluasi pada empat kelas tugas

Embedding dievaluasi pada tugas klasifikasi, klasterisasi, pencarian, dan segmentasi. Contoh-contoh ini mengimpor ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator, dan SegmentationEvaluator. Fungsi metrik dipanggil secara langsung. Di akhir, TaskMetadata yang digunakan dalam submission sebenarnya dikumpulkan.

Paket ini juga mencantumkan evaluator untuk reranking dan transkripsi.

Evaluator klasifikasi, klasterisasi, pencarian, dan segmentasi hanya bergantung pada NumPy dan scikit-learn. Evaluator reranking dan transkripsi menggunakan Whisper.

Kriteria praktisnya: untuk empat kelas tugas ini, NumPy, scikit-learn, dan CPU sudah cukup. Reranking dan transkripsi memerlukan Whisper.

Dependensi dan persyaratan eksekusi

Langkah-langkah yang ditampilkan dijalankan di CPU tanpa mengunduh dataset. Evaluator klasifikasi, klasterisasi, pencarian, dan segmentasi hanya bergantung pada NumPy dan scikit-learn. Evaluator reranking dan transkripsi menggunakan Whisper. Pelaksana tugas menggunakan TensorFlow dan apache-beam.

Dependensi ini menentukan lingkungan eksekusi. Empat kelas tugas tersebut tidak memerlukan GPU atau data eksternal. Reranking, transkripsi, dan menjalankan pelaksana tugas memerlukan komponen tambahan.

Kriteria praktisnya: jika tujuannya adalah menguji encoder dengan cepat pada klasifikasi, klasterisasi, pencarian, dan segmentasi, CPU dan pustaka yang disebutkan sudah cukup.

Kriteria praktis untuk memilih

Implementasi encoder harus sesuai dengan MultiModalEncoder. SoundEmbedding yang dikembalikan harus berisi embedding berbentuk (N, D) dan stempel waktu berbentuk (M, 2). Field embedding dapat berisi N string alih-alih vektor. Score harus menjelaskan metrik, nilai, rentang yang diizinkan, dan deskripsi. TaskMetadata dikumpulkan di akhir dan digunakan dalam submission sebenarnya.

Untuk evaluasi klasifikasi, klasterisasi, pencarian, dan segmentasi, gunakan ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator, dan SegmentationEvaluator. Evaluator-evaluator tersebut bergantung pada NumPy dan scikit-learn. Reranking dan transkripsi memerlukan Whisper.

Kriteria praktisnya: encoder dipilih sesuai dengan tugas. Dua contoh encoder—volume dan timbre—memberikan hasil yang berbeda bergantung pada evaluator. Kedua encoder diuji pada rangkaian tugas yang diperlukan.