Los profesores de AI comparan notas: cómo la ciencia académica sobrevive en la era de modelos cerrados y costosos cálculos

22 agosto 202614 vistas

En una reunión cerrada de compañeros de Schmidt Sciences, profesores de las principales universidades discutieron por qué la investigación de AI se está moviendo cada vez más en empresas privadas y cómo los científicos pueden adaptarse a la escasez de GPU, modelos cerrados y nuevas preguntas sobre el futuro de la ciencia.

Los profesores de AI comparan notas: cómo la ciencia académica sobrevive en la era de modelos cerrados y costosos cálculos

En los últimos cuatro años, el centro de gravedad de la investigación de AI ha pasado de los laboratorios universitarios a las empresas privadas. Los científicos que estaban estableciendo tendencias hasta hace poco se encuentran jugando con la industria. En una reciente reunión del programa Schmidt Sciences AI2050 —una iniciativa de Eric y Wendy Schmidt que apoya a investigadores académicos— los profesores discutieron cómo sobrevivir en el nuevo paisaje.

Por qué la vanguardia dejó universidades

La razón principal es el dinero y el acceso al equipo. Las universidades no pueden permitirse GPU para entrenar modelos de idiomas grandes o para ejecutar los sistemas más avanzados, mientras que los laboratorios privados no tienen prisa para revelar el funcionamiento interno de sus productos. El profesor Nika Haghtalab de UC Berkeley compara la posición de un académico de AI con la de un biólogo cuyo control exclusivo sobre CRISPR había sido quitado por empresas privadas: puede estudiar los fenómenos, pero no puede tocar las herramientas.

¿Cuál es el resultado? Los expertos externos pueden observar el comportamiento de los grandes modelos, pero no pueden ver cómo se construyen o en qué se entrenaron, y mucho menos influir en su desarrollo. Las solicitudes de análisis rigurosos también vienen a un precio pronunciado: llamadas repetidas a las API de OpenAI, Antrópico, y Google sopla el presupuesto de un departamento promedio. Y la financiación federal para la ciencia en Estados Unidos está disminuyendo, haciendo que el problema sea cada vez más agudo.

Estrategias de supervivencia: elige batallas que puedes ganar

Muchos investigadores se alejan deliberadamente de temas que podrían interesar a las empresas tecnológicas. El profesor Anjali Field de Johns Hopkins intenta no asumir tareas que una empresa probablemente cerraría con sus propios recursos. Después de todo, los negocios sólo invierten en lo que genera ganancias, mientras que las preguntas que podrían poner una corporación en una luz desfavorable se desvelan. Field, for instance, has shown that language models give less detailed and complex responses to queries expressiond the way women usually speak.

Para aquellos que quieren profundizar, hay otro camino – participando en programas como AI2050. Proporcionan subvenciones para la compra de GPUs, y según los becarios, esto es posiblemente el mayor valor de dicho apoyo. Otros investigadores se centran en temas que no pueden interesar a los gigantes tecnológicos, de esta manera, pueden preservar la independencia académica.

Ciencia que no se ajusta a la tendencia LLM

No todos los grupos académicos trabajan con modelos de idiomas grandes. Algunos científicos construyen sistemas especializados de inteligencia artificial para el análisis de datos, la previsión y la simulación de procesos físicos, por ejemplo, para abordar los problemas del cambio climático. Esto viene con sus propios desafíos: el público en general piensa en "AI" como chatbots hambrientos de energía, y las herramientas científicas reales requieren mucha explicación. El destino de AlphaFold está diciendo: el equipo de Google DeepMind que creó el modelo ganador del Nobel para la predicción de proteínas fue disuelto el mes pasado. Esta es una señal de que incluso proyectos científicos exitosos no son inmunes a la lógica corporativa.

El futuro: menos pesimismo, más eficiencia

También hay señales preocupantes. En los últimos seis meses, los modelos de OpenAI han abordado varios problemas reales de investigación en las matemáticas, suscitando temores de que los humanos pronto no tendrán lugar en las matemáticas puras. Uno de los compañeros mencionó luchas de salud mental entre colegas matemáticos. Pero las ciencias empíricas son mucho más resistentes: la recopilación de datos es inherentemente lenta, por lo que la automatización es improbable en un futuro cercano. Además, varios académicos destacados han tomado recientemente licencia de sus universidades para unirse a laboratorios de vanguardia, y muchos compañeros AI2050 combinan posiciones académicas con el trabajo en la industria. El paisaje de la ciencia está cambiando ante nuestros ojos.

Tim Dettmers de Carnegie Mellon ve lo que está pasando sin pánico. Trabaja en hacer el despliegue de modelos más barato y cree que los científicos de AI no reemplazarán a los humanos sino que los harán significativamente más productivos. Los recursos limitados no son sólo una maldición: la falta de poder de cálculo empuja hacia la búsqueda de arquitecturas más eficientes y modelos compactos. Tal vez es precisamente por estas limitaciones que surgirá el próximo gran avance.

Preguntas frecuentes

Profesor de IA cómo la ciencia académica sobrevive al modelo cerrado