MSEB da Google Research: implementação de codificadores de áudio segundo o contrato do benchmark e avaliação em quatro classes de tarefas

Finalidade e camadas do benchmark

MSEB — Massive Sound Embedding Benchmark, da Google Research. O pacote é instalado como mseb==0.1.0. O benchmark divide-se em três camadas.

• types define os tipos Sound, SoundEmbedding, Score e TaskMetadata.
• encoder contém a classe base abstrata MultiModalEncoder — o contrato implementado pelo modelo.
• evaluators contém avaliadores para diferentes tarefas.

Estas camadas separam a descrição dos dados, a interface do modelo e a medição da qualidade. Critério prático: a camada encoder define os requisitos do encoder, enquanto evaluators define os da avaliação.

Contrato do encoder e tipos de dados

encoder contém a classe base abstrata MultiModalEncoder. Esta classe é o contrato implementado pelo modelo. types define Sound, SoundEmbedding, Score e TaskMetadata.

SoundEmbedding armazena embeddings com a forma (N, D) e marcas temporais com a forma (M, 2). As marcas indicam o início e o fim do intervalo em segundos. Se M == N, as marcas correspondem a quadros individuais. Se M == 1, o embedding refere-se à enunciação inteira. O campo embedding pode conter N strings em vez de vetores. SoundEmbedding também inclui contexto e estatísticas de codificação, incluindo as dimensões da entrada e do embedding.

Score descreve a métrica, o seu valor, o intervalo permitido e a descrição. TaskMetadata é recolhido no final da avaliação e utilizado numa submissão real.

Critério prático: o encoder deve devolver um SoundEmbedding com dimensões corretas e preencher Score para cada tarefa.

Dois exemplos de encoders: volume e timbre

O guia implementa dois encoders diferentes. Um mede o volume ao longo do tempo, o outro, o timbre. São aplicados a um pequeno corpus de áudio sintético. O corpus é criado no notebook, por isso não é necessário descarregar dados.

De acordo com a descrição do guia, os dois encoders apresentam resultados diferentes consoante o avaliador. Isto significa que a escolha da característica influencia a qualidade em diferentes tarefas. Critério prático: é necessário testar ambas as abordagens para classificação, agrupamento, pesquisa e segmentação.

Avaliação em quatro classes de tarefas

Os embeddings são avaliados em tarefas de classificação, agrupamento, pesquisa e segmentação. Nos exemplos, são importados ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator e SegmentationEvaluator. As funções das métricas são chamadas diretamente. No final, é recolhido TaskMetadata, utilizado numa submissão real.

O pacote também lista avaliadores para reranking e transcrição.

Os avaliadores de classificação, agrupamento, pesquisa e segmentação dependem apenas de NumPy e scikit-learn. Os avaliadores de reranking e transcrição utilizam Whisper.

Critério prático: para as quatro classes de tarefas, NumPy, scikit-learn e CPU são suficientes. Para reranking e transcrição, é necessário o Whisper.

Dependências e requisitos de execução

Os passos apresentados são executados em CPU, sem descarregar um conjunto de dados. Os avaliadores de classificação, agrupamento, pesquisa e segmentação dependem apenas de NumPy e scikit-learn. Os avaliadores de reranking e transcrição utilizam Whisper. O executor de tarefas utiliza TensorFlow e apache-beam.

Estas dependências determinam o ambiente de execução. Para as quatro classes de tarefas, não são necessários GPU nem dados externos. Para reranking, transcrição e execução do executor de tarefas, são necessários componentes adicionais.

Critério prático: se o objetivo for testar rapidamente um encoder em tarefas de classificação, agrupamento, pesquisa e segmentação, bastam uma CPU e as bibliotecas indicadas.

Critérios práticos de seleção

A implementação do encoder deve estar em conformidade com MultiModalEncoder. O SoundEmbedding devolvido deve conter embeddings com a forma (N, D) e marcas temporais com a forma (M, 2). O campo embedding pode conter N strings em vez de vetores. Score deve descrever a métrica, o valor, o intervalo permitido e a descrição. TaskMetadata é recolhido no final e utilizado numa submissão real.

Para a avaliação de classificação, agrupamento, pesquisa e segmentação, são adequados ClassificationEvaluator, ClusteringEvaluator, RetrievalEvaluator e SegmentationEvaluator. Dependem de NumPy e scikit-learn. Para reranking e transcrição, é necessário o Whisper.

Critério prático: o encoder é escolhido de acordo com a tarefa. Os dois exemplos de encoder — volume e timbre — apresentam resultados diferentes consoante o avaliador. Ambos os encoders devem ser testados no conjunto de tarefas pretendido.