Una réplica cuestiona que las redes neuronales ya sean «limpias»

Nick Cammarata, de Goodfire, defiende en un ensayo que las neuronas de las redes neuronales son más fáciles de interpretar de lo que se pensaba. En una auditoría preliminar de Qwen3-32B, según él, cerca del 90 % de los polos de las neuronas tienen una función principal, un 7 % tienen dos relacionadas y entre un 2 y un 4 % aún no se entienden. Lo presenta como hipótesis de trabajo y anuncia un artículo técnico complementario.

El 17 de octubre, el usuario leogao respondió en LessWrong. Cree que el resultado justifica cambiar de opinión, pero que un patrón simple en los ejemplos que más activan una neurona no prueba que se entienda, porque las activaciones débiles también pueden importar. Propone sustituir las activaciones reales por simuladas y medir si el modelo empeora. Es una opinión, no un estudio.