Los modelos que trabajan simultáneamente con imágenes y texto han aprendido a hacerlo impresionantemente bien: reconocen objetos, responden preguntas sobre imágenes y transfieren conocimientos a nuevas tareas. Sin embargo, detrás de este éxito a menudo se esconde una debilidad poco evidente: el modelo no memoriza las propiedades reales del objeto, sino los detalles asociados que sirven como «etiquetas». El ajuste adversarial de prompts es una de las formas de hacer que los modelos sean más robustos, pero también tiene una trampa. Analicemos por qué el modelo aprende lo que no debe y cómo un nuevo enfoque propone separar los rasgos útiles de los engañosos.
Por qué el modelo aprende lo que no debe
Cuando se ajusta finamente un modelo visual-lenguaje con datos ruidosos o ejemplos adversariales, parece lógico esperar que la robustez crezca de manera uniforme. En la práctica ocurre lo contrario: en las clases ya vistas el modelo muestra excelentes resultados, pero en las clases nuevas, no vistas, ante ataques adversariales la calidad cae drásticamente. Este fenómeno se denomina sobreajuste de la generalización robusta.
La causa es que el modelo comienza a apoyarse en rasgos pseudo-robustos: conjuntos de patrones aleatorios que sobreviven al ataque pero no reflejan la esencia del objeto. Por ejemplo, el modelo puede memorizar la textura del fondo, sombras características o ruido específico presente en los ejemplos de entrenamiento. Estos rasgos superan la verificación con perturbaciones adversariales, pero no funcionan con datos nuevos. El modelo se sobreajusta no al contenido, sino a pistas atajo (shortcuts), y cuanto más dura el entrenamiento, mayor es la degradación en las clases no vistas.
Cómo separar los rasgos: la idea de ADAPT
Los autores de la propuesta parten de una filosofía inusual: en lugar de enseñar al modelo solo los rasgos necesarios, también hay que enseñarle explícitamente aquello que no debe aprender. Así nació el método ADAPT (Adversarial Disentangled Prompt Tuning).
La idea clave es usar dos tipos de prompts simultáneamente:
- Prompt objetivo: se encarga de que el modelo destaque rasgos robustos y generalizables.
- Prompts señuelo: un conjunto especial de prompts adicionales que «absorben» deliberadamente los patrones pseudo-robustos.
Durante el entrenamiento, los prompts señuelo compiten entre sí: cada uno intenta capturar un tipo específico de etiquetas aleatorias. Y el prompt objetivo se hace forzosamente ortogonal a los señuelos en el espacio de incrustaciones. Así, los rasgos robustos se separan de los engañosos: lo que los señuelos ya «aprendieron», el prompt objetivo no puede usarlo.
Mecánica de los prompts duales
En la práctica, esto se ve como una división del trabajo. Los prompts señuelo no son necesarios para la predicción final: su tarea es ser una «papelera» para las distorsiones heredadas. El prompt objetivo, en cambio, se entrena bajo una restricción: su vector no debe coincidir con la dirección de los señuelos. La ortogonalidad en el espacio de incrustaciones significa que los rasgos que usaron los señuelos no influyen en la decisión del prompt objetivo. Como resultado, el modelo se ve obligado a buscar patrones más profundos y causales.
Por qué funciona la separación
La ortogonalidad no es solo un truco técnico, sino una forma de ofrecer una garantía teórica. El análisis del método muestra que una función de pérdida especial limita la influencia de los desplazamientos de los rasgos pseudo-robustos en las predicciones para clases no vistas.
En resumen: incluso si los señuelos recopilan mucha información extra, esa información no puede «filtrarse» al prompt objetivo. Por lo tanto, los desplazamientos en la distribución de datos que ocurren al pasar de clases vistas a no vistas afectan menos el error del modelo. Este enfoque ofrece un comportamiento más predecible ante ejemplos adversariales y no sacrifica la robustez de unas clases en favor de otras.
Qué mostraron los experimentos
Las pruebas prácticas lo confirman: ADAPT mejora notablemente la robustez del prompt objetivo en clases no vistas en comparación con los métodos existentes de ajuste adversarial. El modelo no solo memoriza la defensa contra ataques específicos, sino que forma rasgos más limpios que funcionan con material nuevo.
Por supuesto, deshacerse por completo de los patrones falsos aún no es posible: la tarea de separar causalidad y correlación sigue siendo una de las más difíciles en el aprendizaje automático. Pero el enfoque de «enseñar lo que no se debe aprender» ofrece una guía práctica: a veces la mejor manera de enseñar a un modelo es mostrarle qué ignorar.
La conclusión principal para los profesionales: al ajustar modelos visuales-lenguaje, conviene vigilar no solo el aumento de precisión en los datos de entrenamiento, sino también en qué rasgos se apoya el modelo. Si se añaden «trampas» para los patrones aleatorios al proceso de aprendizaje — por ejemplo, mediante prompts duales con ortogonalidad — se puede obtener un modelo no solo más confiable, sino también más honesto.
