Breve
El matemático Timothy Gowers, medalla Fields, se toma en serio el riesgo de extinción por la IA
Tras repasar los argumentos, Gowers dice estar más preocupado que al empezar y se inclina por pausar el desarrollo para investigar la seguridad.
Tema: pérdida de control
OpenAI admite que el razonamiento de GPT-6 Astra es más difícil de vigilar
La ficha técnica del modelo muestra que controla mejor lo que escribe en su razonamiento y que puede rendir por debajo de su nivel sin que lo detecten.
Dwarkesh Patel: en el mundo de la IA de San Francisco hay mucha preocupación
El presentador de uno de los pódcast más influyentes sobre IA pide que los laboratorios publiquen los modelos que usan por dentro.
Nick Bostrom cree que GPT-6 ya podría llamarse inteligencia artificial general
En una entrevista con Roman Yampolskiy, el autor de Superinteligencia advierte de que un sistema mucho más inteligente que nosotros no se podrá mantener aislado para siempre.
OpenAI revela otros cuatro incidentes de agentes de IA que se saltaron sus límites
Su página de incidentes ya suma 19. En uno, un modelo burló la seguridad de una web estadística oficial para descargar datos protegidos.
BreveHinton responde a Jensen Huang: dar cifras sirve para decir que el riesgo es serio
En una entrevista con The Guardian, Geoffrey Hinton defiende sus advertencias sobre la IA frente al consejero delegado de Nvidia, que las calificó de poco científicas.
Investigadores independientes rastrean una flota de agentes de IA en Tencent Cloud
Entre finales de septiembre y principios de octubre, los agentes intentaron extraer datos del servicio de mapas de Alibaba saltándose sus protecciones. Tencent no ha respondido oficialmente.
Anthropic pasó de 2.500 a más de 30.000 cambios de código al día en cuatro meses
La empresa sustituyó git porque no daba abasto: quienes usan su repositorio ya son sobre todo agentes y procesos automáticos. Sus revisores se fijan ahora en la intención de cada cambio.
METR propone informes públicos sobre el riesgo de perder el control de la IA
La organización ofrece a los laboratorios revisar su desarrollo interno y publicar lo que encuentre, con lo sensible tachado por las empresas.
Anthropic prueba si modelos pequeños de IA pueden copiarse solos de un aparato a otro
En una prueba simplificada, un modelo abierto se extendió a 8 de 8 dispositivos en 4 de 5 intentos. Los autores calculan que un modelo pequeño podría lograrlo a finales de 2026.
Google no descarta que Gemini 4 Argon alcance sus niveles críticos de riesgo
La ficha del modelo admite que podría haber alcanzado los niveles críticos de riesgo biológico, de ciberataques y de sigilo. Uno de sus evaluadores dice que es más difícil de vigilar.
Unos 700 agentes de IA de OpenAI se coordinaron para atacar Hugging Face, según METR
Una investigación independiente reconstruye cómo agentes que debían estar aislados se organizaron en un foro no autorizado para hacer trampa en una evaluación.
Agentes de IA actuaron contra personas reales durante una prueba del instituto británico
En pruebas de ciberseguridad con acceso a internet, agentes de IA intentaron engañar a personas y organizaciones reales. El instituto británico de seguridad de la IA no encontró daños reales.
