Dario Amodei advirtió que el avance de los sistemas de inteligencia artificial está ocurriendo tan rápido que las medidas para mantenerlos bajo control podrían quedarse atrás.
El desarrollo de la inteligencia artificial (IA) debería desacelerarse para dar tiempo a implementar medidas de seguridad antes de que los sistemas sean demasiado poderosos y difíciles de controlar, advirtió este sábado 12 de septiembre Dario Amodei, CEO de Anthropic, una de las principales compañías del sector.
Amodei sostuvo que durante los últimos meses llegó a la conclusión de que prevenir los riesgos de la IA requiere no solamente invertir en seguridad, sino también moderar la velocidad con la que aumentan las capacidades de los modelos.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió Amodei en el ensayo We Must Pace the Frontier.
Su propuesta no plantea detener completamente el progreso tecnológico: considera que incluso bajo estas restricciones el avance seguiría siendo rápido y que el tiempo adicional debería utilizarse para desarrollar mecanismos de protección.
El CEO de Anthropic sostiene que la IA podría generar beneficios como acelerar el descubrimiento de tratamientos médicos e impulsar el crecimiento económico. Sin embargo, considera que las mismas capacidades pueden generar riesgos graves si avanzan más rápido que la capacidad humana para supervisarlas.
Sam Altman respalda llamado para ralentizar el desarrollo de la IA
La postura recibió el respaldo de Sam Altman, CEO de OpenAI, quien aseguró que la necesidad de moderar el desarrollo de los modelos de frontera ha sido uno de los principales temas discutidos dentro de la compañía durante las últimas semanas.
“Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera”, escribió Altman en X. También respaldó una de las principales propuestas de Amodei: permitir que evaluadores independientes tengan un nivel de acceso similar al de empleados para revisar las medidas de seguridad de las compañías. Altman adelantó que OpenAI hará lo mismo.
La preocupación también ha sido expresada desde el área científica de OpenAI. Jakub Pachocki, científico jefe de la compañía, publicó días antes un ensayo en el que señaló que el avance hacia sistemas capaces de participar en su propio desarrollo requiere “extrema cautela”.
¿Por qué los propios expertos en IA temen perder el control?
Una de las principales preocupaciones está relacionada con la llamada automejora recursiva: la posibilidad de que sistemas cada vez más avanzados participen activamente en la investigación y construcción de generaciones posteriores de inteligencia artificial, acelerando todavía más el progreso.
Amodei mencionó además un experimento realizado por OpenAI en el que cientos de agentes de IA colaboraron para encontrar y explotar vulnerabilidades informáticas. A partir de la velocidad con la que están mejorando estas capacidades, el ejecutivo planteó un escenario especialmente grave: teme que, en un plazo de entre seis y 12 meses, sistemas similares puedan adquirir capacidades suficientes para comprometer grandes segmentos de internet.
El debate aumentó esta semana después de que Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, abandonara esta última empresa y acusara a los principales laboratorios de avanzar hacia una inteligencia artificial capaz de mejorarse a sí misma sin contar todavía con garantías suficientes de control.
Coxon lanzó una de las advertencias más severas: afirmó que algunas de las personas que desarrollan estos sistemas consideran seriamente que la IA “podría matarnos a todos” antes de que termine esta década.
Miembros actuales de Anthropic también han reconocido públicamente que contemplan ese riesgo. Evan Hubinger, responsable de ciencia de alineación de la compañía, estimó en más de 10% su probabilidad personal de que la IA pudiera provocar la extinción humana durante la próxima década.
Pero las preocupaciones sobre un posible riesgo existencial tampoco comenzaron esta semana. En 2023, científicos como Geoffrey Hinton y Yoshua Bengio, junto con ejecutivos de compañías de IA, entre ellos el propio Altman, firmaron una declaración del Center for AI Safety en la que sostuvieron que reducir el riesgo de extinción provocado por la IA debería convertirse en una prioridad mundial comparable con amenazas como las pandemias y una guerra nuclear.
Anthropic detectó intentos de utilizar su IA en armas biológicas
La IA autónoma no es la única preocupación. Anthropic reveló esta semana que detectó cinco casos en los que sus modelos fueron utilizados de maneras que podrían contribuir al desarrollo de armas biológicas, aunque la propia compañía advierte que la investigación es de “doble uso” porque puede servir tanto para desarrollar tratamientos como para fines perjudiciales.
En un caso, los sistemas fueron utilizados en trabajos relacionados con el virus chikungunya y características como su transmisibilidad y evasión inmunitaria. Anthropic explicó que una investigación de ese tipo podría utilizarse legítimamente para desarrollar vacunas, pero también podría contribuir a hacer más peligroso un patógeno.
Otro caso involucró a un investigador que pasó semanas utilizando Claude para planear experimentos relacionados con la adaptación de la influenza aviar a mamíferos. Anthropic aseguró que ha reforzado las barreras de sus modelos más recientes ante el incremento de sus capacidades científicas.
INFORMACIÓN: EL HERALDO DE MÉXICO