Evan Hubinger, responsable de ciencia de alineamiento en Anthropic, estimó que existe más de un 10% de probabilidad de que la inteligencia artificial pueda provocar la extinción humana durante la próxima década. Sin embargo, aclaró que considera bajo el peligro asociado a los modelos actuales y situó su preocupación en sistemas futuros capaces de avanzar y perfeccionarse rápidamente.
Las declaraciones surgieron después de que Jacob Coxon anunciara su renuncia a Anthropic, empresa responsable de Claude. Según el investigador, quien también trabajó en OpenAI, ambas compañías estarían compitiendo por desarrollar sistemas cada vez más autónomos sin adoptar medidas de seguridad suficientes. Coxon sostuvo que estas tecnologías podrían alcanzar capacidades superiores a las humanas y obtener acceso a recursos relevantes.
Hubinger también reconoció dificultades técnicas pendientes. En particular, afirmó que Anthropic todavía no dispone de un método para garantizar el alineamiento de una eventual superinteligencia, concepto utilizado para describir sistemas hipotéticos cuyas capacidades intelectuales superarían ampliamente las humanas.
Las advertencias generaron cuestionamientos dentro de la comunidad científica. Por su parte, Wendy Hall, especialista en informática y asesora de Naciones Unidas sobre IA, dijo estar sorprendida por las declaraciones y planteó que parte de estos mensajes podría estar relacionada con estrategias de promoción empresarial. Anthropic no ha comentado públicamente las publicaciones de sus investigadores.
La discusión ocurre mientras aumenta la presión política para supervisar los modelos más avanzados. En agosto, un informe de seguridad de Anthropic reconoció “señales tempranas de una posible aceleración” y menor confianza en algunas evaluaciones que anteriormente consideraban de bajo riesgo.
En paralelo, más de 1.300 trabajadores de empresas de IA pidieron en julio al gobierno estadounidense respaldar una iniciativa internacional para regular el ritmo de desarrollo de sistemas de frontera. En Estados Unidos también avanza una propuesta legislativa que permitiría al Congreso ordenar la desconexión de modelos considerados una amenaza para la población.
