Por que a abordagem GPT tropeça na música simbólica: a compressão só funciona no sistema de coordenadas certo
Parece que a música simbólica foi feita para tokenização: notas são discretas, acordes se repetem, motivos formam estruturas reconhecíveis. Modelos GPT funcionam muito bem com tokens reutilizáveis, então surge a tentação de transferir diretamente a abordagem linguística para a pauta musical. Mas a prática mostra: tokenizar música não é apenas fatiar uma sequência, é escolher um sistema de coordenadas no qual o modelo consiga enxergar padrões.
Tokens não são uma interface universal
O sucesso dos modelos de linguagem se baseia em um vocabulário finito de tokens que podem ser reutilizados em diferentes contextos. Essa interface é tão conveniente que começaram a aplicá-la a outras áreas — de código a sequências biológicas. No entanto, ao transferi-la para além da linguagem, surge um problema: não existe um critério único para o que a tokenização deve representar e onde ela deve parar. O que é bom para texto pode ser inútil ou até prejudicial para música.
A pesquisa de Yi Wang (arXiv:2608.18025) propõe um critério geral — o comprimento preditivo do código (predictive codelength). É uma medida de quão bem o modelo comprime informações ao prever o próximo elemento. Se a tokenização ajuda a reduzir esse comprimento — ela captura a estrutura real dos dados; se não — ela apenas cria uma aparência de ordem.
Música exige coordenadas, não apenas um vocabulário
A música simbólica é enganosamente parecida com linguagem: as mesmas notas, os mesmos acordes. Mas por trás dessa discretude estão parâmetros contínuos de tempo e tonalidade. Quando cortamos música em tokens por analogia com palavras, implicitamente fixamos um referencial. Por exemplo, podemos codificar a altura da nota como um valor absoluto — mas então o modelo precisa adivinhar a tonalidade sozinho. Podemos definir o tempo como um contador inteiro — mas então deslocamentos e andamento se tornam indistinguíveis.
O autor da estrutura Effectiveness–Losslessness Framework separa duas fronteiras. A Fact–Token Boundary define onde a estrutura observada deve entrar na interface de tokens — por exemplo, por meio da construção explícita de coordenadas. A Token–State Boundary indica onde a tokenização deve parar: as demais dependências o modelo deve calcular sozinho, em seu estado interno, e não recebê-las prontas do tokenizador. Se comprimir demais, o modelo perde a capacidade de usar o contexto; se comprimir de menos — ele se afoga em detalhes irrelevantes.
Experimento: tempo e tonalidade decidem
Em experimentos controlados multi-seed com música simbólica, descobriu-se que a definição explícita do tempo musical reduz consistentemente o código preditivo. Ou seja, em vez de esconder marcas temporais dentro dos tokens, é melhor torná-las uma coordenada separada — assim o modelo começa a prever com mais precisão tanto a altura quanto a duração das notas. Um ganho adicional vem da canonização do contexto tonal: trazer todas as frases para um centro tonal único. E a fatoração da altura — dividindo em grau e oitava — também ajuda.
Mas também é importante o que não funciona. Coordenadas fixas de altura pelo círculo de quintas — uma bela teoria musical imposta sem considerar o contexto — aumentam o código preditivo. Uma relação de alturas pré-fixada impede o modelo de se adaptar à harmonia específica. O tokenizador decidiu pelo modelo como as conexões entre notas são estruturadas, e o modelo ficou sem trabalho.
Compressão por compressão não ajuda
Uma surpresa à parte — a BPE reversível. Ela permite encurtar consideravelmente o carrier — ou seja, a própria sequência de tokens — mas o comprimento preditivo do código cresce em cada seed. Do ponto de vista de armazenamento de dados, é um ótimo compressor; do ponto de vista de aprendizado, é um mau ajudante. Isso porque a BPE colapsa fragmentos repetidos, mas perde relações contextuais: o modelo economiza em comprimento, mas gasta esforço aprendendo abreviações artificiais.
Conclusão
A abordagem GPT tropeça na música simbólica não por falta de capacidade, mas pela escolha errada do sistema de coordenadas. A compressão só funciona quando a interface de tokens está alinhada com a estrutura real dos dados: tempo deve ser tempo, tonalidade deve ser tonalidade, e todo o resto — objeto de trabalho do próprio modelo. O critério do comprimento preditivo do código permite separar tokenização útil de enfeite e entender onde realmente vale a pena traçar a fronteira entre fato e computação.
