Un artículo advierte de que automatizar la investigación en alineamiento es más difícil de lo que parece

Aleksandr Bowkis, Marie Davidsen Buhl, Jacob Pfau y Geoffrey Irving publicaron en mayo un preprint que cuestiona una propuesta muy extendida: alinear una superinteligencia usando agentes de IA para hacer una parte cada vez mayor de la investigación en alineamiento. Según los autores, aunque los agentes no sabotearan el trabajo a propósito, el plan podría producir evaluaciones de seguridad convincentes pero muy engañosas. El motivo es que esa investigación incluye muchas tareas «difusas», difíciles de supervisar y en las que el juicio humano falla de forma sistemática.

Dan cuatro razones por las que probablemente sería peor que con investigadores humanos. Entre ellas, que los errores de los agentes se concentrarían en los que los revisores detectan menos, y que compartir pesos y datos podría hacer sus fallos más correlacionados. Concluyen que hay que entrenar a los agentes para esas tareas. Es un argumento, no un resultado experimental.