MSEB de Google Research : implémentation d’encodeurs audio selon le contrat du benchmark et évaluation sur quatre catégories de tâches

Objectif et couches du benchmark

MSEB — Massive Sound Embedding Benchmark de Google Research. Le package s’installe avec mseb==0.1.0. Le benchmark est divisé en trois couches.

• types définit les types Sound, SoundEmbedding, Score et TaskMetadata.
• encoder contient une classe de base abstraite MultiModalEncoder — le contrat implémenté par le modèle.
• evaluators contient des évaluateurs pour différentes tâches.

Ces couches séparent la description des données, l’interface du modèle et la mesure de la qualité. Critère pratique : la couche encoder définit les exigences relatives à l’encodeur, et evaluators, celles relatives à l’évaluation.

Contrat de l’encodeur et types de données

encoder contient une classe de base abstraite MultiModalEncoder. Cette classe constitue le contrat implémenté par le modèle. types définit Sound, SoundEmbedding, Score et TaskMetadata.

SoundEmbedding stocke des embeddings de forme (N, D) et des horodatages de forme (M, 2). Les horodatages indiquent le début et la fin de l’intervalle en secondes. Si M == N, les horodatages correspondent à des trames individuelles. Si M == 1, l’embedding correspond à l’énoncé entier. Le champ embedding peut contenir N chaînes au lieu de vecteurs. SoundEmbedding comprend également le contexte et des statistiques d’encodage, notamment les dimensions de l’entrée et de l’embedding.

Score décrit la métrique, sa valeur, sa plage admissible et sa description. TaskMetadata est rassemblé à la fin de l’évaluation et utilisé dans une soumission réelle.

Critère pratique : l’encodeur doit renvoyer un SoundEmbedding avec des formes correctes et renseigner Score pour chaque tâche.

Deux exemples d’encodeurs : le volume et le timbre

Le guide présente deux encodeurs différents. L’un mesure le volume au fil du temps, l’autre le timbre. Ils sont appliqués à un petit corpus audio synthétique. Le corpus est créé dans le notebook, il n’est donc pas nécessaire de télécharger des données.

D’après le guide, les deux encodeurs obtiennent des résultats différents selon l’évaluateur. Cela signifie que le choix des caractéristiques influe sur la qualité pour différentes tâches. Critère pratique : il faut tester les deux approches pour la classification, le clustering, la recherche et la segmentation.

Évaluation sur quatre catégories de tâches

Les embeddings sont évalués pour des tâches de classification, de clustering, de recherche et de segmentation. Les exemples importent ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator et SegmentationEvaluator. Les fonctions de métriques sont appelées directement. À la fin, on rassemble TaskMetadata, qui est utilisé dans une soumission réelle.

Le package répertorie également des évaluateurs pour le réordonnancement et la transcription.

Les évaluateurs de classification, de clustering, de recherche et de segmentation dépendent uniquement de NumPy et de scikit-learn. Les évaluateurs de réordonnancement et de transcription utilisent Whisper.

Critère pratique : NumPy, scikit-learn et un processeur suffisent pour les quatre catégories de tâches. Le réordonnancement et la transcription nécessitent Whisper.

Dépendances et conditions d’exécution

Les étapes présentées s’exécutent sur un processeur, sans téléchargement de jeu de données. Les évaluateurs de classification, de clustering, de recherche et de segmentation dépendent uniquement de NumPy et de scikit-learn. Les évaluateurs de réordonnancement et de transcription utilisent Whisper. L’exécuteur de tâches utilise TensorFlow et apache-beam.

Ces dépendances déterminent l’environnement d’exécution. Les quatre catégories de tâches ne nécessitent ni GPU ni données externes. Le réordonnancement, la transcription et l’exécution de l’exécuteur de tâches requièrent des composants supplémentaires.

Critère pratique : si l’objectif est de tester rapidement un encodeur en classification, clustering, recherche et segmentation, un processeur et les bibliothèques indiquées suffisent.

Critères pratiques de sélection

L’implémentation de l’encodeur doit être conforme à MultiModalEncoder. Le SoundEmbedding renvoyé doit contenir des embeddings de forme (N, D) et des horodatages de forme (M, 2). Le champ embedding peut contenir N chaînes au lieu de vecteurs. Score doit décrire la métrique, sa valeur, sa plage admissible et sa description. TaskMetadata est rassemblé à la fin et utilisé dans une soumission réelle.

Pour l’évaluation en classification, clustering, recherche et segmentation, on peut utiliser ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator et SegmentationEvaluator. Ils dépendent de NumPy et de scikit-learn. Le réordonnancement et la transcription nécessitent Whisper.

Critère pratique : l’encodeur est choisi en fonction de la tâche. Les deux exemples d’encodeurs — le volume et le timbre — obtiennent des résultats différents selon l’évaluateur. Les deux encodeurs sont testés sur l’ensemble de tâches requis.