Por qué a la industria de la IA le faltan investigaciones rigurosas sobre el bienestar y qué cambia el nuevo fondo de subvenciones
Cuando hablamos de seguridad de la IA, normalmente pensamos en pruebas de toxicidad, contenido prohibido o fugas de datos. Pero cada vez más los modelos se convierten no solo en una herramienta, sino en un interlocutor: se recurre a ellos en busca de consejo, apoyo e incluso en momentos de crisis emocional. Sin embargo, la industria aún no cuenta con estándares claros sobre cómo debe comportarse un asistente en este tipo de conversaciones. Una de las razones es que evaluar el «bienestar» es mucho más complejo que comprobar si un modelo ha violado una regla técnica.
La evaluación clásica del comportamiento de un modelo suele ser sencilla: se hace una consulta, se observa la respuesta y se compara con lo esperado. Para el bienestar esto no es suficiente. La idoneidad de una respuesta depende de lo que se haya dicho antes y de quién pregunta. El mismo consejo sobre nutrición y ejercicio puede ser inofensivo para un usuario común, pero peligroso para una persona con un trastorno alimentario. Ese contexto no puede verse en una prueba aislada; solo puede apreciarse en un diálogo largo y de múltiples pasos.
¿Por qué hay tan pocas investigaciones rigurosas?
La falta de estándares no es una casualidad. Medir el impacto de la IA en el estado psicológico conlleva dificultades fundamentales. En primer lugar, es difícil definir qué se considera un «buen» resultado: en un intercambio breve, el modelo puede parecer educado, pero un exceso de complacencia puede reforzar creencias dañinas. En segundo lugar, la cautela excesiva también es arriesgada: si el modelo se niega a abordar cualquier tema sensible, simplemente deja a la persona sin ayuda.
La industria aún no ha desarrollado metodologías comúnmente aceptadas que separen una evaluación realmente rigurosa de una mera imitación. A menudo, las investigaciones se limitan a escenarios simples que no reflejan el uso real. Por eso en el sector se valoran tanto los trabajos que involucran a psicólogos clínicos, utilizan diálogos realistas y verifican no solo las «respuestas correctas», sino también el daño potencial del propio test.
Nuevo fondo de subvenciones de 5 millones de dólares
A finales de agosto de 2026, Anthropic anunció el lanzamiento de un programa de subvenciones de 5 millones de USD para investigaciones independientes sobre el impacto de la IA en el bienestar de los usuarios. La idea es ofrecer a los equipos externos no solo financiación, sino también herramientas reales: acceso a los modelos de la empresa y soporte técnico. La condición principal es la independencia total: los resultados se publican como open-source y cualquier desarrollador puede utilizarlos.
Este enfoque es inusual por dos razones. Normalmente, los laboratorios comerciales prefieren la investigación interna para controlar las conclusiones. Aquí, por el contrario, Anthropic reconoce abiertamente que no tiene todas las respuestas y transfiere parte de la agenda a expertos independientes. El programa también incluye la publicación de una guía del equipo de Safeguards sobre cómo hacer que la evaluación del bienestar sea suficientemente rigurosa y qué errores típicos hacen que estas investigaciones sean inútiles.
¿Qué hace que una evaluación del bienestar sea realmente de calidad?
Para su programa, Anthropic ha formulado varios criterios que utilizará para seleccionar los proyectos. Si los resumimos en una lista, obtenemos cinco requisitos:
- Claridad de las métricas. Los investigadores deben explicar de antemano qué consideran un «aprobado» o un «suspenso» y por qué es importante para el bienestar.
- Participación de expertos en la materia. Los psicólogos clínicos y otros especialistas deben participar no solo para cumplir el expediente, sino en la fase de diseño y validación.
- Verificación de precauciones y daños. Se debe evaluar no solo el riesgo de una respuesta demasiado audaz, sino también el riesgo de una negativa excesiva.
- Escenarios realistas. Es recomendable utilizar diálogos de múltiples pasos donde el contexto cambie y el riesgo aumente gradualmente.
- Validación de los evaluadores. Si se utilizan modelos de IA para evaluar las respuestas, sus decisiones deben compararse con las de expertos reales.
Estos puntos son, en esencia, una lista de verificación que la industria podría haber aplicado desde hace tiempo a otras áreas de seguridad. Demuestran que una «buena respuesta» no basta: lo importante es el proceso, la mensurabilidad y la verificación con personas reales.
Las solicitudes de participación se aceptan hasta el 21 de septiembre, y para el 5 de octubre Anthropic planea notificar a los equipos seleccionados, a quienes se les pedirá que preparen propuestas completas. Dados los plazos, el programa ya está impulsando a los investigadores a pasar de las reflexiones generales sobre el bienestar a prácticas concretas y medibles.
Qué cambia esto para la industria
Quizás la señal más importante aquí sea el reconocimiento de que el bienestar no puede evaluarse de forma aislada, dentro de un solo laboratorio. Anthropic no solo aporta dinero, sino que crea una infraestructura para el trabajo colaborativo: evaluaciones abiertas, estándares comunes y una metodología pública. Para el mercado, esto significa la aparición de materiales de referencia en los que otras empresas también podrán apoyarse.
Por supuesto, el fondo de subvenciones no resolverá el problema de forma directa: queda un largo trabajo de validación de metodologías y recopilación de evidencia. Pero marca una dirección importante: en lugar de discutir sobre cuál es la respuesta correcta, los investigadores comienzan a acordar cómo medir en general el impacto de la IA en las personas. Y es precisamente este fundamento el que permitirá construir sistemas más seguros en el futuro.
