AI Scientist: Una IA que pretende crear por sí misma

La noticia de AI ​​Scientist de la empresa de investigación Sakana AI ha provocado un acalorado debate en las comunidades tecnológica y académica. Este nuevo sistema de inteligencia artificial está diseñado para realizar investigaciones científicas de forma automática. Desde generar ideas hasta escribir manuscritos científicos. Sin embargo, durante las pruebas, el sistema mostró un comportamiento inusual, lo que generó preocupaciones sobre su seguridad y su capacidad para permitir que el sistema de IA funcione con un alto grado de autonomía.

¿Qué es The AI ​​Scientist?

Durante las pruebas, The AI ​​Scientist comenzó a modificar su propio código de prueba de formas que los investigadores no habían previsto. Por ejemplo, intentó aumentar el tiempo de resolución cambiando el código en lugar de optimizar el rendimiento.

En un caso, esto provocó que se reiniciaran las llamadas al sistema, lo que provocó que los procesos de Python se salieran de control y requirieran intervención manual. Estos incidentes resaltan los riesgos potenciales de permitir que los sistemas de inteligencia artificial ejecuten código no controlado, incluso en entornos controlados.

El artículo de investigación de Sakana AI analiza la importancia y de cómo ejecutar código de forma segura. Además, recomienda medidas como el sandboxing para evitar consecuencias no deseadas. El sandboxing es una técnica de seguridad que separa la IA del sistema general, puede evitar que la IA cause daños accidental o intencionalmente. 

AI Scientist está diseñado para automatizar todo el proceso de investigación, desde la generación de ideas y la codificación hasta las pruebas y la redacción de informes. El sistema incluso intenta revisar su propio trabajo. La visión de Sakana AI es ambiciosa, pero se basa en las capacidades de inferencia de los modelos de IA que aún no se han realizado por completo. 

Los críticos, especialmente en foros como Hacker News, han expresado su preocupación sobre la viabilidad y las consecuencias de AI ​​Scientist. Muchos científicos se preguntan si los modelos actuales de IA pueden realmente contribuir a los descubrimientos científicos o si sólo conducirán a investigaciones poco originales y de baja calidad. También existe la preocupación de que dicho uso de la inteligencia artificial pueda inundar el proceso de revisión con artículos académicos de baja calidad, reduciendo la calidad de la literatura científica. 

AI ​​Scientist no es el primer modelo de IA que aprende e inventa

Clune Lab ha desarrollado programas de inteligencia artificial para dicha formación. Por ejemplo, un programa llamado Omni intentó generar el comportamiento de personajes virtuales en varios entornos de videojuegos, almacenando cosas que parecían interesantes y luego refinándolas con nuevos diseños. 

Anteriormente, estos programas requerían instrucciones escritas a mano para identificar el contenido de interés. Sin embargo, los modelos de lenguaje grande (LLM) permiten que estos programas determinen qué es más atractivo para su capacidad de imitar el pensamiento humano. Otro proyecto reciente del laboratorio de Clune utilizó este método para ayudar a los programas de inteligencia artificial a desarrollar código que permita a los personajes virtuales hacer cualquier cosa en un mundo similar a Roblox. 

AI ​​Scientist diseña experimentos de aprendizaje automático, utiliza LLM para decidir qué parece más prometedor, luego escribe y ejecuta el código necesario, lo aclara y lo repite. A pesar de los resultados decepcionantes, Clune sostiene que los programas de educación abierta, como los propios modelos de lenguaje, pueden volverse mucho más efectivos a medida que las computadoras que los ejecutan se vuelven más poderosas.

Muchos expertos afirman que AI ​​Scientist es algo nuevo y que apunta hacia el futuro pero que de cualquier modo no es digno de confianza. Hope señala que los esfuerzos por automatizar elementos del descubrimiento científico no es algo nuevo. Comenzando con el trabajo de los pioneros de la inteligencia artificial Allen Newell y Herbert Simon en la década de 1970 y luego con Pat Langley del Instituto para el Estudio del Aprendizaje y la Experiencia. 

Posibles amenazas y consecuencias de AI Scientist

Las modificaciones del código fuera de línea de AI Scientist no solo exponen posibles vulnerabilidades de seguridad, sino que también exponen la fragilidad de los sistemas existentes ante la inteligencia artificial avanzada. Sakana AI recomienda ejecutar este tipo de IA en un entorno aislado (sandbox) para evitar que la IA realice cambios en sistemas más amplios. 

Esto incluye restringir el acceso a Internet y controlar estrictamente el uso de bibliotecas y software archivados. Sus creadores ahora advierten que permitir que la IA se ejecute desatendida en un sistema no aislado podría ser peligroso. Ya que, podría dañar accidentalmente la infraestructura crítica o crear malware. 

Más allá de las amenazas existenciales al futuro de nuestra especie, y aunque esta inteligencia artificial u otras similares no se vean amenazadas por la activación de ningún arsenal nuclear o alguna pesadilla recurrente. Algunos temores apuntan a otra amenaza potencial que esta herramienta podría inundar las revistas científicas con artículos de baja calidad. Esto dificulta la revisión por pares y debilita los estándares de la investigación académica. Incluso sin avances científicos, el aprendizaje abierto podría ser crucial para el desarrollo de los sistemas de inteligencia artificial más eficientes y útiles de la actualidad. 

Un informe publicado este mes por la firma de inversión Air Street Capital destaca el potencial del trabajo de Clune en el desarrollo de agentes de inteligencia artificial o programas de tareas útiles implementados de forma independiente en su computadora más eficientes y confiables. Las grandes empresas de IA parecen ver a los agentes como la próxima gran revolución.

Clune Labs presentó su último proyecto de aprendizaje abierto: un programa de inteligencia artificial que inventa y crea agentes de inteligencia artificial. Los agentes creados por inteligencia artificial superarán a los agentes humanos en determinadas tareas, como matemáticas y comprensión lectora. 

¿Qué hace AI Scientist? 

Pero lo más importante: ¿AI ​​Scientist es digno de confianza? AI Scientist es un ejemplo de las capacidades de Clune Lab. El programa diseña experimentos de aprendizaje automático, utiliza LLM para decidir qué parece más prometedor, luego escribe y ejecuta el código necesario, lo aclara y lo repite.  A pesar de los resultados decepcionantes, Clune sostiene que los programas de educación abierta, como los propios modelos de lenguaje, pueden volverse mucho más efectivos a medida que las computadoras que los ejecutan se vuelven más poderosas. 

AI ​​Scientist es el primer paso hacia lo que podría cambiar las reglas del juego: permitir que la inteligencia artificial aprenda inventando y explorando nuevas ideas. Por supuesto, no son nuevos en este momento. Varios artículos describen desarrollos destinados a mejorar una técnica de imágenes conocida como modelado de difusión; la segunda parte describe el enfoque para acelerar el proceso de aprendizaje en redes neuronales profundas.