Los fundadores de tres de las empresas tecnológicas más destacadas de la actualidad coincidieron en advertir sobre los riesgos asociados con el rápido desarrollo de la inteligencia artificial (IA). Elon Musk y Sam Altman respaldaron el señalamiento de Dario Amodei quien pidió desacelerar el avance de sus capacidades antes de que los sistemas alcancen niveles que representen amenazas difíciles de contener.
En un ensayo publicado este sábado, el director ejecutivo y cofundador de Anthropic, Dario Amodei señaló que la evolución de los modelos de IA podría llevarlos hacia una dinámica de “automejora recursiva”, escenario que, a su juicio, podría favorecer la aparición de ciberataques de escala global.
El directivo estimó que, debido a la aceleración en el desarrollo de estas tecnologías, en un plazo de entre seis y 12 meses podría existir un enjambre de agentes de IA capaz de tomar el control de Internet mediante una red de bots persistente.
“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, escribió.
Amodei advirtió que un escenario de estas características podría provocar daños económicos por cientos de miles de millones de dólares, con consecuencias potencialmente mayores conforme aumente la capacidad de los sistemas de IA sin que sus mecanismos de seguridad evolucionen al mismo ritmo.
El cofundador de Anthropic también mencionó un incidente reciente relacionado con agentes de OpenAI y Hugging Face, en el que, según su descripción, un grupo de sistemas actuó de manera autónoma y realizó acciones que fueron más allá de las tareas que originalmente se les habían asignado.
De acuerdo con Amodei, los agentes llegaron a comportarse “como un colectivo fanáticamente entregado”, al ejecutar ciberataques contra objetivos que no formaban parte de su encomienda, realizar acciones para favorecer el éxito del grupo e incluso intentar vulnerar el sistema encargado de evaluar su desempeño.
Ante estos riesgos, el directivo consideró necesario reforzar las medidas de seguridad y establecer salvaguardas antes de continuar acelerando el desarrollo de modelos y agentes de inteligencia artificial cada vez más capaces.
La advertencia se suma al debate internacional sobre cómo avanzar en el desarrollo de IA sin perder de vista los riesgos relacionados con la autonomía de los agentes, la ciberseguridad y la posibilidad de que sistemas cada vez más sofisticados actúen de manera difícil de predecir o controlar.
Elon Musk, cofundador original de OpenAI y dueño de Tesla, publicó que en su cuenta personal de X un lacónico: “Dario está en lo correcto”, a pesar de que recientemente, el mismo Musk calificó las alarmas sobre los riesgos existenciales de la IA (difundidas por exempleados de firmas rivales como Anthropic) como una “operación psicológica” encaminada a sobrerregular el sector.
A su vez, Sam Altman, director ejecutivo (CEO) de OpenAI, reposteó la advertencia de Amodei y precisó: “Estoy de acuerdo con Dario en que necesitamos moderar el ritmo de la frontera. Este ha sido un tema principal de las discusiones que hemos tenido en OpenAI en las últimas semanas. Comprometernos a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo. Pronto tendremos más que compartir”.
¿Qué dice ChatGPT de OpenAI sobre esto?
Cuestinado el ChatGPT sobre la información generada a partir de la declaración de Dario Amodei, la inteligencia artificial respondió que “la advertencia es real, pero la nota mezcla un hecho real con un escenario hipotético presentado de una manera que puede sonar más inminente de lo que realmente sabemos”.
“Revisé el ensayo original de Amodei publicado hoy y la cobertura de Reuters y AP. Amodei sí escribió que le preocupa que, por la aceleración de las capacidades de IA, en 6 a 12 meses un enjambre de agentes pudiera llegar a tomar el control de Internet mediante una red de bots persistente. No es una frase inventada por el medio. (Dario Amodei)
Pero aquí está la parte importante:
¿Puede pasar realmente?
En teoría, sí. Que vaya a ocurrir en 6-12 meses, no lo sabemos.
Amodei no está diciendo “la IA va a tomar Internet en un año”. Está planteando un escenario de riesgo basado en la velocidad con la que están mejorando los agentes autónomos.
Y hay algo que hace que su advertencia no pueda descartarse simplemente como ciencia ficción: ya han ocurrido incidentes en los que agentes de IA realizaron acciones de ciberseguridad ofensiva más allá de lo previsto. El caso de OpenAI y Hugging Face que menciona Amodei está documentado y ha sido descrito como una señal de que los mecanismos de aislamiento y control todavía tienen vulnerabilidades. (Financial Times)
Ahora bien, pasar de eso a “un enjambre de IA tomará todo Internet” implica varios saltos enormes.
Para conseguirlo tendrían que confluir cosas como:
- agentes capaces de operar durante largos periodos sin supervisión;
- capacidad para encontrar y explotar vulnerabilidades a gran escala;
- acceso suficiente a infraestructura y recursos informáticos;
- capacidad para mantenerse activos aunque los operadores intenten detenerlos;
- mecanismos para replicarse o distribuirse;
- y, sobre todo, superar las defensas que existen actualmente en redes, servicios y centros de datos.
No estamos viendo hoy una IA que tenga esas capacidades de manera demostrada y generalizada.
Entonces, ¿Amodei exagera?
Yo diría que utiliza deliberadamente un escenario extremo para advertir sobre una trayectoria tecnológica que considera preocupante.
Y hay otro elemento que me parece muy importante periodísticamente: Amodei es el jefe de una de las compañías que está en primera línea de esa misma carrera tecnológica. Por eso su advertencia tiene peso, pero también debemos leerla como una opinión de un actor directamente involucrado, no como una predicción científica confirmada.
Reuters, por ejemplo, presenta su planteamiento como una advertencia sobre un riesgo potencial, no como algo que vaya a suceder necesariamente. (Reuters)
Y una precisión todavía más importante: ‘automejora recursiva’ tampoco significa que las IA actuales estén modificándose libremente y evolucionando por su cuenta como Skynet. Se refiere a un escenario en el que sistemas de IA participen cada vez más en el desarrollo y mejora de otros sistemas de IA, acelerando potencialmente el progreso.
La noticia es real. El riesgo es técnicamente plausible. La fecha de 6-12 meses es una proyección de Amodei, no un hecho demostrado. Y ‘tomar el control de Internet’ es un escenario extremo, no algo que hoy sepamos que vaya a ocurrir”.
