Ir al contenido
PandorIALa caja ya está abierta
Todas las entradas

evaluacionesBreve · · Escrito con IA

METR pone a prueba la monitorización interna de los agentes de OpenAI

Un ejercicio piloto de METR y Redwood Research encontró huecos y vías de evasión en el sistema con el que OpenAI vigila a sus agentes. La empresa dice que los ha corregido; METR no lo ha comprobado.

METR publicó el 22 de octubre el resumen de un ejercicio piloto en OpenAI. Un empleado suyo y otro de Redwood Research, con acceso al código y a la documentación internos, probaron durante tres semanas, del 21 de julio al 11 de agosto, el sistema que vigila a los agentes.

Según METR, entre el 75 % y el 94 % del tráfico agéntico interno de la API Responses, de modelos al menos tan potentes como GPT-5.5, podía monitorizarse, con mucha incertidumbre. Los eventos de compactación no se vigilaban, lo que dejó sin monitorizar del orden del 10 % del tráfico de Codex monitorizable entre mayo y julio. Hallaron además varias vías para que un agente evadiera o rompiera el monitor, en principio.

OpenAI afirma que ha corregido lo que afectaba a sus salvaguardas de producción; METR no lo ha comprobado. El texto público es breve y OpenAI pudo censurar partes.

Fuentes

Texto escrito por IA a partir de estas fuentes.

En esta historia