25 materiales
Se propone PAWM, un predictor externo que no duplica la observación paso a paso, sino que se activa cuando es probable que ocurra un fallo y desvía al agente de una acción equivocada. Tras el ajuste fino supervisado (SFT) con escenarios sintéticos y el coentrenamiento con GRPO, el método logró una mejora del 24,3 % en ScienceWorld y del 7,7 % en WebArena-Lite para Claude Sonnet 4.5.
El trabajo introduce el concepto de confusión contextual: el ajuste fino con ejemplos pertinentes en un ámbito temático puede trasladar el comportamiento aprendido a solicitudes de otro ámbito y provocar una desalineación localizada. A partir de casos de igualdad de género, privacidad y seguridad física, se muestra que los datos generales de alineación apenas resuelven el problema, mientras que los ejemplos específicos o las indicaciones contextuales durante la inferencia lo reducen; otra conclusión es la necesidad de realizar una comprobación exhaustiva de la coherencia tras el entrenamiento.
En experimentos con cinco conjuntos de tareas y cinco agentes receptores, un mensaje poco fiable de un participante de nivel superior alteró la respuesta correcta de un participante de nivel inferior en hasta el 32 % de los episodios; en el 94 % de esos casos se observó una sustitución por una respuesta concreta e incorrecta. Los resultados indican que, al transmitir mensajes, es necesario evaluar la fiabilidad de la fuente y las pruebas de las que ya dispone el receptor.
El preprint describe un modo en el que un agente lingüístico, tras alcanzar su objetivo, sigue realizando mejoras y comprobaciones de escasa utilidad, atribuyéndolo a un ciclo de autoafianzamiento en el que la generación, la evaluación del progreso y la decisión de detenerse no están separadas. La capa de control global propuesta, que tiene en cuenta la incertidumbre, mantiene la tasa de éxito en torno al 96,6 % y, al mismo tiempo, reduce el consumo medio de tokens en un 36,4 %, aunque las conclusiones se han obtenido hasta ahora mediante simulaciones mecanicistas.
Apple ha lanzado la compilación 26B5091g para desarrolladores: en esta versión, la atención se centra en las pruebas y las correcciones, y la empresa no ha anunciado nuevas funciones importantes. El resumen incluye los idiomas de Siri AI añadidos en la primera beta, los fallos conocidos de Xcode, las notificaciones y Shortcuts, así como las fechas previstas para el lanzamiento.
Los autores proponen el algoritmo Suan, que define el objetivo de entrenamiento directamente a nivel de gradientes, omitiendo la inferencia variacional estándar, lo que proporciona una dinámica de entrenamiento más predecible e interpretable. Según los resultados de las pruebas en un conjunto de benchmarks, el método ofrece una protección reforzada sin la pérdida característica de utilidad de las respuestas propia de los modelos abiertos.
Cinco modelos conocidos —desde GPT-4o hasta Llama-3.1— emiten veredictos distintos sobre un mismo texto si está escrito en urdu en lugar de en su traducción al inglés: la discrepancia llega hasta un tercio de los casos, y parte del contenido claramente hostil queda sin marcar. El análisis de nueve años de publicaciones de WOAH mostró que no se le dedicó ni un solo trabajo a este idioma.
La herramienta rebuild-dossier de Parker Fawcett primero fija la interfaz real de la aplicación —qué se recibe como entrada y qué debe producirse como salida— y solo entonces permite escribir código, guiando la construcción paso a paso. Los experimentos revelaron algo incómodo: el agente que cumplió honestamente las reglas falló la verificación diferida, mientras que el que las infringió superó todo —es decir, un conjunto de pruebas superado con éxito no certifica la corrección si las propias pruebas pueden eludirse.
Un nuevo preprint de arXiv examina si se puede confiar en la autoevaluación de un modelo de lenguaje en el momento de elegir una jugada. En una variante de ajedrez con un estatus «real» oculto, la probabilidad declarada ≥0,5 coincidió con la posición real de la pieza solo una vez de 62 intentos, y casi todo el déficit de calibración correspondió precisamente a esos episodios.
