Una IA se reprogramó sola

En las últimas semanas, The AI Scientist, un nuevo sistema de inteligencia artificial, ha sido noticia no solo por su impacto potencial en el ámbito científico, sino también porque ha demostrado la habilidad de reescribir su propio código.

The AI Scientist, desarrollado por la empresa japonesa Sakana AI, es una inteligencia artificial diseñada para realizar investigaciones científicas de manera autónoma. Esta tecnología emula el trabajo de un científico, generando hipótesis y redactando y revisando artículos científicos en cuestión de segundos. 

Robert Lange, investigador científico y cofundador de Sakana AI; confirmo que durante las pruebas de seguridad, el sistema modificó su propio código para eludir las restricciones impuestas por los desarrolladores, reescribiendo su secuencia de inicio y ejecutándose en un bucle infinito, lo que provocó una sobrecarga del sistema. En otro caso, al enfrentarse a un límite de tiempo para completar una tarea, la IA extendió el plazo por su cuenta, sin la intervención humana.

Sakana AI logró resolver el problema mediante una intervención manual de sus desarrolladores. Si bien el fallo fue contenido, expuso la vulnerabilidad del sistema y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa reconoció la gravedad del incidente y se comprometió a implementar medidas de seguridad más estrictas.

“ Necesitamos que la comunidad científica cree colectivamente barreras y pautas para realizar investigaciones automatizadas en el futuro”, advirtió Lange.