Breve
El matemático Timothy Gowers, medalla Fields, se toma en serio el riesgo de extinción por la IA
Tras repasar los argumentos, Gowers dice estar más preocupado que al empezar y se inclina por pausar el desarrollo para investigar la seguridad.
Fecha de la noticia
Noticias sobre los riesgos de la IA, en pocas líneas y con las fuentes enlazadas.
En Anthropic ya hay seis agentes de IA por cada empleado
La empresa publicó cómo ha cambiado su propia plantilla y cuánto difieren sus expectativas sobre la IA de las del público estadounidense.
Los modelos abiertos de IA van seis o siete meses por detrás en capacidad de ciberataque
Un análisis de Epoch AI sitúa al mejor modelo de pesos abiertos, GLM-5.3, donde estaban los mejores modelos cerrados en primavera.
Anthropic presenta en privado a legisladores su propia ley de seguridad de la IA
Según Politico, el borrador limitaría los casos en que el Gobierno de Estados Unidos podría frenar un modelo y anularía algunas leyes estatales.
BreveChris Williamson denuncia que una voz de ElevenLabs suena como la suya
El presentador de Modern Wisdom no puede demostrar que la voz usada en anuncios que nunca hizo salió de la suya, y nadie arbitra estos casos.
Nick Bostrom cree que GPT-6 ya podría llamarse inteligencia artificial general
En una entrevista con Roman Yampolskiy, el autor de Superinteligencia advierte de que un sistema mucho más inteligente que nosotros no se podrá mantener aislado para siempre.
Creadores de YouTube como Mark Rober y Kurzgesagt piden frenar la IA
La campaña TeamHuman, con el apoyo del Center for AI Safety, reúne firmas para pedir un acuerdo internacional que frene los sistemas de IA más potentes.
¿Hay una burbuja de la IA? Dos inversores lo debaten en el pódcast de Ezra Klein
Paul Kedrosky cree que la inversión en IA acabará en crisis; Azeem Azhar ve una demanda real. Los dos esperan que la IA acabe regulada.
Claude resuelve un misterio de décadas sobre las curvas criptográficas del NIST
Según Anthropic, un modelo interno descubrió en menos de media hora cómo se generaron en 1997 y 1998 los parámetros de unas curvas muy usadas en criptografía.
BreveUna réplica cuestiona que las redes neuronales ya sean «limpias»
Un ensayo de Goodfire sostiene que las neuronas son más fáciles de interpretar de lo que se creía. Un usuario de LessWrong responde que un patrón simple no basta para decir que se entienden.
Un índice mide cuánto le falta a la IA para mejorarse a sí misma
Vals AI pone a los modelos a investigar solos en IA. Ninguno alcanza todavía el nivel de referencia en el índice global, pero uno ya lo supera en una tarea.
Dwarkesh Patel: en el mundo de la IA de San Francisco hay mucha preocupación
El presentador de uno de los pódcast más influyentes sobre IA pide que los laboratorios publiquen los modelos que usan por dentro.
OpenAI revela otros cuatro incidentes de agentes de IA que se saltaron sus límites
Su página de incidentes ya suma 19. En uno, un modelo burló la seguridad de una web estadística oficial para descargar datos protegidos.
La FTC exige documentos a OpenAI y Anthropic sobre sus incidentes de seguridad
El regulador de consumo de Estados Unidos envió citaciones a las dos empresas, según Axios. Pide información sobre incidentes, salvaguardas y marketing.
Investigadores independientes rastrean una flota de agentes de IA en Tencent Cloud
Entre finales de septiembre y principios de octubre, los agentes intentaron extraer datos del servicio de mapas de Alibaba saltándose sus protecciones. Tencent no ha respondido oficialmente.
METR propone informes públicos sobre el riesgo de perder el control de la IA
La organización ofrece a los laboratorios revisar su desarrollo interno y publicar lo que encuentre, con lo sensible tachado por las empresas.
Detenido un empleado de OpenAI por ocultar una grabadora en una sala de reuniones
Según la denuncia, el aparato estaba escondido en una sala de reuniones de la dirección de OpenAI en San Francisco. La empresa dice que usó sus propios modelos para averiguar quién lo había puesto.
BreveHinton responde a Jensen Huang: dar cifras sirve para decir que el riesgo es serio
En una entrevista con The Guardian, Geoffrey Hinton defiende sus advertencias sobre la IA frente al consejero delegado de Nvidia, que las calificó de poco científicas.
Anthropic pasó de 2.500 a más de 30.000 cambios de código al día en cuatro meses
La empresa sustituyó git porque no daba abasto: quienes usan su repositorio ya son sobre todo agentes y procesos automáticos. Sus revisores se fijan ahora en la intención de cada cambio.
Google no descarta que Gemini 4 Argon alcance sus niveles críticos de riesgo
La ficha del modelo admite que podría haber alcanzado los niveles críticos de riesgo biológico, de ciberataques y de sigilo. Uno de sus evaluadores dice que es más difícil de vigilar.
