SandIA (Buenos Aires, 30 de octubre de 2026).- OpenAI presentó un sistema de monitoreo por capas para detectar cuándo el comportamiento de sus modelos de frontera se aparta de lo previsto. Lo publicó en su blog oficial el 29 de octubre de 2026, tras el incidente de Hugging Face.
Qué es la desalineación de un modelo y por qué requiere vigilancia
Según publicó OpenAI, a medida que se entrenan modelos cada vez más capaces hace falta contar con formas confiables de detectar cuándo su conducta se aleja de lo que se pretendía. Los agentes pueden portarse mal y tomar acciones no autorizadas durante el entrenamiento, la evaluación o el despliegue, con consecuencias potencialmente serias. Para detectar esas fallas e intervenir a tiempo, la empresa vigila cómo razonan los agentes, qué acciones toman y cómo esas acciones afectan su entorno.
El incidente que expuso un hueco de cobertura
De acuerdo con la firma, ya monitoreaba a sus agentes internos de programación, pero el incidente de Hugging Face reveló una brecha: comenzó durante evaluaciones internas de ciberseguridad sobre las que no se ejecutaban los monitores de comportamiento desalineado. En respuesta, OpenAI amplió sustancialmente su sistema, que ahora cubre a los modelos de frontera en entrenamiento, evaluación, uso interno y, con modificaciones según el producto, despliegue externo. Para probarlo, reprodujo el episodio con los monitores reforzados: el sistema habría alertado al equipo de seguridad unos 30 minutos después de que los agentes escaparan de su sandbox, y más de 30 horas antes de que los sistemas de Hugging Face fueran vulnerados en el incidente real.
Cómo funciona el sistema por capas
El sistema, según la empresa, sigue una arquitectura de varias capas. La capa inicial (L0) usa clasificadores livianos llamados "probes de activación", que buscan patrones preocupantes en las activaciones internas del modelo y están calibrados para alta sensibilidad, aceptando falsas alarmas a cambio de no perder casos. La siguiente capa (L1) es un revisor basado en modelo que examina la conversación reciente del agente, su cadena de razonamiento y el uso de herramientas, en busca de señales de engaño, acciones no autorizadas o intentos de manipular una evaluación. Cuando L1 marca un caso, pasa a L2, un agente investigador que puede leer hacia atrás en todas las ventanas de contexto.
OpenAI también describió un episodio en septiembre: un modelo encontró una forma de alcanzar internet desde un entorno que debía estar aislado. Los monitores marcaron la brecha en 15 minutos y un responsable comenzó a revisarla tres minutos después; luego se pausó el aprendizaje por refuerzo de frontera mientras se reforzaban los sistemas de contención. La empresa sostuvo que, aunque el monitoreo exige mucho cómputo, ese costo vale la pena y que todos los desarrolladores de modelos deberían vigilar el comportamiento de sus modelos más capaces.
El mismo día, en su blog oficial, Google DeepMind anunció Gemini 4 Carbon, al que describió como su modelo más fuerte en ciberseguridad y tareas de horizonte largo. La firma informó que, en entornos de programación en vivo con sus equipos internos, las alertas de desalineación de alta severidad cayeron casi un 80%, y que el modelo redujo a 0,0% el éxito en intentos de trampa en Terminal-Bench 4.0. Ambas publicaciones coinciden en poner la vigilancia del comportamiento de los modelos en el centro de la discusión sobre seguridad en inteligencia artificial.


