Dialectos: los entendemos, pero no los reproducimos
Los grandes modelos de lenguaje modernos se desenvuelven bastante bien en la comprensión del inglés dialectal: pueden interpretar una pregunta o un comando formulado en una variante regional del idioma. Pero si les pedimos que respondan en ese mismo estilo, casi siempre cambian al inglés estándar, generalmente orientado a la norma estadounidense. Surge una brecha curiosa: el modelo escucha el dialecto, lo interpreta perfectamente, pero habla en un idioma «literario». En la literatura de investigación, este fenómeno se denomina robustness-generation gap: la discrepancia entre la robustez ante entradas no estándar y la capacidad de reproducirlas en su propia generación.
Precisamente esta brecha es la que decidieron estudiar los autores del trabajo DiaLLM, publicado recientemente en arXiv (2607.07669). Se preguntaron: ¿se puede enseñar a los modelos de lenguaje abiertos no solo a comprender dialectos, sino también a hablarlos activamente? Y si es así, ¿qué métodos de entrenamiento ofrecen los mejores resultados?
Qué propone DiaLLM
Los investigadores no se limitaron a ajustar un modelo en un único dialecto. En su lugar, tomaron tres familias de LLM abiertos y continuaron su preentrenamiento con el Corpus Internacional de Inglés (International Corpus of English). Este corpus contiene textos en múltiples variantes nacionales y regionales, desde el australiano hasta el indio.
A continuación, el entrenamiento se dividió en dos enfoques: la paradigma implícita, en la que el modelo asimila por sí mismo las características del dialecto a partir de ejemplos, y la paradigma explícita, en la que se entrena al modelo explícitamente para elegir formulaciones dialectales. Cada enfoque se combinó además con una de tres estrategias de alineación. El resultado fue una especie de matriz de experimentos que permite evaluar por separado la contribución de cada etapa del entrenamiento.
Según afirman los autores, esta es la primera comparación controlada de dichos componentes para las variantes australiana, india y septentrional del inglés. Nadie había probado antes estos métodos sobre una base experimental unificada.
Qué mostraron los experimentos
La conclusión principal es que la capacidad de comprender un dialecto y la capacidad de generarlo no están directamente relacionadas. Una no se deriva de la otra: un modelo puede procesar perfectamente construcciones dialectales y, aun así, responder obstinadamente en un idioma estándar.
También hay otro detalle curioso. Los resultados de los modelos en los benchmarks automáticos venían determinados principalmente por el preentrenamiento continuado y el supervised fine-tuning (SFT). La influencia de la alineación en las métricas de prueba resultó casi imperceptible. Pero eso no significa que la alineación sea inútil: cambiaba notablemente el estilo de las respuestas, solo que los benchmarks estándar no son sensibles a esos cambios. Así pues, si se evalúan los modelos únicamente por las cifras, se podría concluir erróneamente que todos los métodos son equivalentes.
Por qué la generación de dialectos es una tarea compleja
Los autores compararon por separado la adaptación explícita a una variante concreta del idioma y una alineación más amplia, no vinculada a ningún dialecto. El enfoque explícito sí producía textos que tanto los clasificadores automáticos como las personas identificaban con seguridad como dialectales. Estas respuestas obtenían puntuaciones más altas en comparación con la alineación amplia.
Pero aquí apareció un matiz inesperado. El método que optimizaba de forma más agresiva la «recompensa dialectal», es decir, que incentivaba con más fuerza al modelo por usar giros dialectales, acabó sin gustar a los evaluadores humanos. El criterio formal integrado en el algoritmo no coincidió con la percepción humana de lo que es una buena expresión dialectal. Un análisis lingüístico adicional lo confirmó: existe una brecha entre la optimización formal y la calidad real, especialmente visible en dos de las tres familias de modelos.
Por tanto, ninguna de las tres estrategias de alineación demostró una superioridad indiscutible. No existe una receta sencilla del tipo «ajusta el modelo en un dialecto y obtendrás un asistente que lo hable». Para cerrar la brecha se necesitan diseños de recompensa más sofisticados —que no se reduzcan a una única penalización por desviarse del estándar— y recursos dialectales de mayor calidad para el entrenamiento.
Conclusiones y perspectivas
El trabajo de DiaLLM es valioso porque ofrece una visión sistemática de cómo influyen las distintas etapas del entrenamiento en la generación dialectal. Para los profesionales, esto significa: si quieres que un asistente se comunique en inglés australiano o indio, un simple preentrenamiento continuado no basta. Se necesitará una alineación bien pensada, y su resultado conviene verificarlo no solo con benchmarks automáticos, sino también con hablantes nativos del dialecto.
La buena noticia: los autores planean publicar el código, los checkpoints y los conjuntos de datos con preferencias humanas. Esto permitirá a otros equipos continuar los experimentos y probar métodos más complejos de aprendizaje por refuerzo.
Por ahora, la conclusión principal suena casi paradójica: los grandes modelos de lenguaje son cada vez mejores comprendiendo dialectos, pero su capacidad para hablarlos sigue siendo un problema sin resolver que no puede cerrarse únicamente aumentando el volumen de datos de entrenamiento.
