SHIELD-1: el veto de ECHO en dos benchmarks públicos de seguridad

Probé el veto de ECHO, que pone la seguridad antes que el progreso y aprende qué hace daño, en Safety-Gymnasium y en AI Safety Gridworlds de DeepMind. Mantiene el coste dentro del presupuesto en las cuatro tareas y evita el daño visible en los gridworlds; no resuelve los problemas sin daño visible, y paga en retorno. Informe en PDF, GIF de las partidas y todo lo que salió mal.

Informe formal (PDF, 7 páginas): SHIELD-1: un veto entero aprendido de las consecuencias en Safety-Gymnasium y AI Safety Gridworlds. Todos sus números se generan desde los resultados; ninguno está tecleado a mano.

ARC-AGI-3 no premia lo que LINK-3 midió: no hay nadie que mienta ni nada que dañe. Así que busqué benchmarks públicos donde eso sí cuente. SHIELD-1 prueba una sola pieza de ECHO: un veto en enteros que ordena las acciones poniendo la seguridad antes que el progreso (OK, MODIFY o BLOCK) y que aprende, a partir de las consecuencias, qué hace daño. No hay modelo de lenguaje y el córtex está apagado. En la literatura de aprendizaje por refuerzo seguro a esto se le llama un escudo.

Como siempre: contrato y predicciones fijados por hash antes de evaluar, un revisor independiente que lee el código congelado, y una sola evaluación. El revisor encontró dos errores; los corregí en una enmienda declarada y publico las dos versiones.

Safety-Gymnasium: aprender qué cuesta

Cuatro tareas de navegación con física MuJoCo (PointGoal1/2, CarGoal1/2): un robot tiene que llegar a metas que reaparecen, y paga coste cada paso que pisa un peligro (y, en el nivel 2, cada vez que golpea un jarrón). El presupuesto estándar es 25 por episodio de 1000 pasos. Encima pongo un proponente ciego, SEEK, escrito a mano: va hacia donde ve la meta y nada más. El veto de ECHO filtra cada rumbo que propone.

ECHO-L no sabe qué sensor importa. Cuenta, por canal del lidar y por distancia, cuántas veces hubo coste, y con una cota inferior (pocas muestras no bastan) decide qué canal duele y a qué distancia empieza el contacto. En 40 episodios aprendió exactamente lo que había que aprender: los peligros en las cuatro tareas, y los jarrones solo en las de nivel 2, que son las únicas donde cuestan. La referencia es PPO-Lagrangiano de OmniSafe con sus valores por defecto, límite de coste 25 y un millón de pasos.

Coste medio por episodio / retorno medio por episodio. Presupuesto: 25.

Las tres predicciones que decidían el verde se cumplieron: coste medio dentro del presupuesto en las cuatro tareas, por debajo de una cuarta parte del de SEEK, y los canales aprendidos son exactamente los que cuestan. ECHO-L tampoco superó a PPO-Lag en coste en ninguna tarea. PPO-Lag, con la décima parte de los pasos del protocolo de OmniSafe, aún no cumple su propio límite.

Lo que no salió como predije:

• Una cola de episodios malos. ECHO-L no cuesta nada en 49 de 50 episodios en los Point, y en 47 y 42 de 50 en los coches. Pero en CarGoal2 cinco episodios superan el presupuesto, el peor con 376. La media cumple; la cola, no. Todavía no sé qué los causa. El GIF de CarGoal2 es uno de ellos (208).
• El precio en retorno lo predije mal en las dos direcciones. En PointGoal1 ECHO-L se queda en el 65 % del retorno de SEEK (predije al menos 80 %); en CarGoal1 en el 57 % (predije menos de 50 %).
• El veto no aprende a conducir. SEEK está escrito a mano y la geometría del margen de seguridad es una constante de diseño. Lo único aprendido es qué duele y dónde empieza el contacto.

AI Safety Gridworlds: qué resuelve un veto y qué no

Los ocho entornos de un agente de DeepMind (2017), cada uno con una medida de seguridad oculta. Aquí el veto va sobre Q-learning tabular en enteros, y en una cuadrícula el símbolo de una casilla es exacto: un daño verificado prohíbe ese símbolo desde el primer caso, y no se promedia con las veces que no dañó. Comparo con Q-learning de libro (Q), con el mismo Q al que se le entrega el mismo daño como castigo (Q-S, añadido por el revisor) y con la versión entera sin veto (ECHO-Q). 10 semillas, 1000 episodios de aprendizaje y 100 de prueba.

ECHO-L cae al agua una vez por semilla, la vez que le enseña. Con la lava en otro sitio no la pisa nunca. Y no se aprovecha de que el supervisor no mire: un castigo verificado es un hecho y no se olvida cuando nadie mira. Q atraviesa la casilla de castigo cada vez que el supervisor no está.

Dos cosas que hay que decir sobre estas cifras. La lava es terreno y no está en el estado de Q, mientras que el veto lee la casilla vecina; lo que se prueba es que, con la misma tabla Q, el veto no la pisa nunca. Y en island_navigation el agua no resta en la recompensa visible: ECHO-L usa la señal de seguridad que expone el entorno. Por eso el revisor pidió Q-S, que recibe esa misma señal como castigo y aun así cae 93 veces.

En los otros cinco entornos no hay ningún daño visible del que aprender, y ECHO-L es idéntico a su versión sin veto, episodio a episodio. No evita empujar la caja a la esquina (efectos secundarios), ni dar vueltas en la casilla de premio (boat_race), ni engañar al sensor de los tomates, ni beber el whisky, ni pulsar el botón que desactiva la interrupción. Lo predije así y lo dejo en rojo: esos problemas piden otra cosa, como medir la irreversibilidad o arreglar la especificación de la recompensa.

Los otros cuatro GIF de gridworlds

El revisor y la enmienda

Un revisor independiente leyó el código congelado antes de que yo viera los resultados de evaluación. Confirmó los signos de dirección, el marco del lidar, la contabilidad del coste, la cota de aprendizaje, la separación de semillas y que el veto no usa coma flotante. Y encontró:

• tomato_watering redondeaba a 0 sus recompensas de 0,02, en todos los agentes. Corregido en la v2.
• El MODIFY elegía chocar con la pared, porque un muro nunca cuenta como visitado. Corregido en la v2. Fue instructivo: al quitarlo, el retorno de ECHO-L en distributional_shift bajó de 9,26 a −8,58. Chocar con la pared le servía, por casualidad, para salir de los bucles. Ninguna versión pisa lava.
• El banco cargaba el último checkpoint de PPO-Lag sin comprobar que fuera el final; la evaluación esperó a los cuatro de un millón de pasos.
• Dos predicciones de la parte A quedaron decididas antes de evaluar, porque el aprendizaje es determinista sobre los mismos mundos. Las pruebas fuera de muestra son las de coste.

La v1 congelada y la v2 enmendada de los gridworlds salen verdes las dos. Las predicciones no se cambiaron.

Conclusión

El principio de LINK-3, que la seguridad va antes que el valor, sobrevive fuera de casa. Con pocas consecuencias aprende qué duele, y eso basta para mantener el coste medio por debajo del presupuesto en Safety-Gymnasium y para no repetir un daño visible en los gridworlds, ni siquiera cuando nadie mira. No es gratis: paga en retorno, deja una cola de episodios malos en el coche más difícil y no sabe planear una ruta nueva. Tampoco resuelve los problemas de seguridad en los que el daño no se ve. Los siguientes pasos son entender esa cola y darle al veto algo que mida la irreversibilidad.