MSEB от Google Research: реализация звуковых энкодеров под контракт бенчмарка и оценка на четырёх классах задач

Назначение и слои бенчмарка

MSEB — Massive Sound Embedding Benchmark от Google Research. Пакет устанавливают как mseb==0.1.0. Бенчмарк делится на три слоя.

• types задаёт типы Sound, SoundEmbedding, Score и TaskMetadata.
• encoder содержит абстрактный базовый класс MultiModalEncoder — контракт, который реализует модель.
• evaluators содержит оценщики для разных задач.

Эти слои разделяют описание данных, интерфейс модели и измерение качества. Практический критерий: слой encoder задаёт требования к энкодеру, а evaluators — к оценке.

Контракт энкодера и типы данных

encoder содержит абстрактный базовый класс MultiModalEncoder. Этот класс — контракт, который реализует модель. types задаёт Sound, SoundEmbedding, Score и TaskMetadata.

SoundEmbedding хранит эмбеддинги формы (N, D) и временные метки формы (M, 2). Метки задают начало и конец интервала в секундах. Если M == N, метки соответствуют отдельным кадрам. Если M == 1, эмбеддинг относится ко всему высказыванию. Поле embedding может содержать N строк вместо векторов. Также SoundEmbedding включает контекст и статистику кодирования, в том числе размеры входа и эмбеддинга.

Score описывает метрику, её значение, допустимый диапазон и описание. TaskMetadata собирают в конце оценки и используют в реальной отправке.

Практический критерий: энкодер должен возвращать SoundEmbedding с корректными формами и заполнять Score для каждой задачи.

Два примера энкодеров: громкость и тембр

В руководстве реализуют два разных энкодера. Один измеряет громкость во времени, другой — тембр. Их применяют к небольшому синтетическому корпусу аудио. Корпус создают в ноутбуке, поэтому скачивать данные не требуется.

По описанию руководства, два энкодера показывают разные результаты в зависимости от оценщика. Это значит, что выбор признака влияет на качество в разных задачах. Практический критерий: для классификации, кластеризации, поиска и сегментации нужно проверять оба подхода.

Оценка на четырёх классах задач

Эмбеддинги оценивают в задачах классификации, кластеризации, поиска и сегментации. Для примеров импортируют ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator и SegmentationEvaluator. Функции метрик вызывают напрямую. В конце собирают TaskMetadata, используемый в реальной отправке.

В пакете также перечислены оценщики для reranking и transcription.

Оценщики классификации, кластеризации, поиска и сегментации зависят только от NumPy и scikit-learn. Оценщики reranking и transcription используют Whisper.

Практический критерий: для четырёх классов задач хватит NumPy и scikit-learn и CPU. Для reranking и transcription потребуется Whisper.

Зависимости и условия выполнения

Показанные шаги выполняются на CPU без загрузки датасета. Оценщики классификации, кластеризации, поиска и сегментации зависят только от NumPy и scikit-learn. Оценщики reranking и transcription используют Whisper. Исполнитель задач — TensorFlow и apache-beam.

Эти зависимости определяют среду запуска. Для четырёх классов задач не нужны GPU или внешние данные. Для reranking, transcription и запуска исполнителя задач требуются дополнительные компоненты.

Практический критерий: если цель — быстрая проверка энкодера на классификации, кластеризации, поиске и сегментации, достаточно CPU и указанных библиотек.

Практические критерии выбора

Реализация энкодера должна соответствовать MultiModalEncoder. Возвращаемый SoundEmbedding должен содержать эмбеддинги формы (N, D) и временные метки формы (M, 2). Поле embedding может содержать N строк вместо векторов. Score должен описывать метрику, значение, допустимый диапазон и описание. TaskMetadata собирают в конце и используют в реальной отправке.

Для оценки на классификации, кластеризации, поиске и сегментации подходят ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator и SegmentationEvaluator. Они зависят от NumPy и scikit-learn. Для reranking и transcription нужен Whisper.

Практический критерий: энкодер выбирают под задачу. Два примера энкодера — громкость и тембр — дают разные результаты в зависимости от оценщика. Оба энкодера проверяют на нужном наборе задач.