Por qué el enfoque GPT tropieza con la música simbólica: la compresión solo funciona en el sistema de coordenadas correcto
Parece que la música simbólica está hecha para la tokenización: las notas son discretas, los acordes se repiten, los motivos forman estructuras reconocibles. Los modelos GPT funcionan muy bien con tokens reutilizables, por lo que surge la tentación de trasladar directamente el enfoque lingüístico al pentagrama. Pero la práctica demuestra que la tokenización de la música no es simplemente segmentar una secuencia, sino elegir un sistema de coordenadas en el que el modelo pueda siquiera percibir patrones.
Los tokens no son una interfaz universal
El éxito de los modelos de lenguaje se basa en un vocabulario finito de tokens que pueden reutilizarse en distintos contextos. Esta interfaz es tan cómoda que se ha empezado a aplicar a otros ámbitos, desde el código hasta las secuencias biológicas. Sin embargo, al trasladarla más allá del lenguaje surge un problema: no existe un criterio único sobre qué debe representar la tokenización ni dónde debe detenerse. Lo que funciona bien para el texto puede resultar inútil o incluso perjudicial para la música.
La investigación de Yi Wang (arXiv:2608.18025) propone un criterio general: la longitud predictiva del código (predictive codelength). Es una medida de lo bien que el modelo comprime la información al predecir el siguiente elemento. Si la tokenización ayuda a reducir esa longitud, significa que capta la estructura real de los datos; si no, solo crea una apariencia de orden.
La música exige coordenadas, no solo un vocabulario
La música simbólica se parece engañosamente al lenguaje: las mismas notas, los mismos acordes. Pero tras esa discreción se ocultan parámetros continuos de tiempo y tonalidad. Cuando segmentamos la música en tokens por analogía con las palabras, fijamos implícitamente un marco de referencia. Por ejemplo, se puede codificar la altura de una nota como un valor absoluto, pero entonces el modelo debe deducir la tonalidad por sí mismo. Se puede definir el tiempo como un contador entero, pero entonces los desplazamientos y el tempo se vuelven indistinguibles.
El autor del marco Effectiveness–Losslessness Framework distingue dos límites. La Fact–Token Boundary determina dónde la estructura observable debe entrar en la interfaz de tokens — por ejemplo, mediante la construcción explícita de coordenadas. La Token–State Boundary indica dónde debe detenerse la tokenización: el resto de dependencias debe calcularlas el modelo por sí mismo, en su estado interno, y no recibirlas ya preparadas del tokenizador. Si se comprime demasiado, el modelo pierde la capacidad de usar el contexto; si se comprime demasiado poco, se ahoga en detalles irrelevantes.
Experimento: el tiempo y la tonalidad lo deciden
En experimentos controlados multi-seed con música simbólica se comprobó que la especificación explícita del tiempo musical reduce de forma consistente el código predictivo. Es decir, en lugar de ocultar las marcas temporales dentro de los tokens, es mejor convertirlas en una coordenada separada — así el modelo predice con mayor precisión tanto la altura como la duración de las notas. Una ventaja adicional la aporta la canonización del contexto tonal: llevar todas las frases a un mismo centro tonal. Y la factorización de la altura — dividirla en grado y octava — también ayuda.
Pero también es importante lo que no funciona. Las coordenadas fijas de altura según el círculo de quintas — una bella teoría musical impuesta sin tener en cuenta el contexto — aumentan el código predictivo. Una relación de alturas fijada de antemano impide que el modelo se adapte a la armonía concreta. El tokenizador decidió por el modelo cómo están conectadas las notas, y el modelo se quedó sin trabajo.
Comprimir por comprimir no ayuda
Una sorpresa aparte es la BPE reversible. Permite acortar notablemente el portador (carrier) — es decir, la propia secuencia de tokens — pero la longitud predictiva del código aumenta en cada seed. Desde el punto de vista del almacenamiento de datos es un excelente compresor, pero desde el punto de vista del aprendizaje es un mal aliado. La razón es que la BPE colapsa fragmentos repetidos, pero pierde las relaciones contextuales: el modelo ahorra en longitud, pero gasta esfuerzo en aprender abreviaturas artificiales.
Conclusión
El enfoque GPT tropieza con la música simbólica no por falta de potencia, sino por una elección incorrecta del sistema de coordenadas. La compresión solo funciona cuando la interfaz de tokens está alineada con la estructura real de los datos: el tiempo debe ser tiempo, la tonalidad debe ser tonalidad, y todo lo demás debe ser trabajo del propio modelo. El criterio de la longitud predictiva del código permite distinguir la tokenización útil del adorno y entender dónde conviene realmente trazar la línea entre el hecho y el cálculo.
