F2 · Por qué E1 empeoró (19/10/2026, sin GPU)
Pregunta. E1 (libro de efectos effects()) dio 39,06, frente a 48,00 de la base agrupada. Sus dos pasadas son las dos más bajas de las 8 tipo base, y el modelo llamó a effects() solo 16 veces. ¿Qué cambió en su conducta?
Datos. Las 8 pasadas: base v3, A/A v6, E1 v4 y E2 v5, cada una de 25 juegos. Se leen los transcripts por paso y los registros de peticiones al modelo. Las cifras de la tabla salen de kaggle-m2/tools/call_profile.py (6 tests, de RED a GREEN).
Lo que no cambia
| Medida (por pasada) | base v3 | A/A v6 | E2 v5 | E1 v4 |
|---|---|---|---|---|
| tokens de prompt por llamada (media) | 72.113 / 72.851 | 72.242 / 72.141 | 72.387 / 72.506 | 71.727 / 72.426 |
| tokens generados por llamada | 1.967 / 1.950 | 2.057 / 1.910 | 1.905 / 1.955 | 1.965 / 2.014 |
| respuestas cortadas por longitud | 17 / 22 | 36 / 21 | 19 / 26 | 24 / 27 |
| llamadas con error en el sandbox | 8,2 % | 9,3 % | 8,5 % | 8,7 % |
- La longitud del prompt no lo explica. E1 añade al prompt del sistema una línea de 753 caracteres. E2 añade una de unos 1.050 y sale igual que el A/A (46,23 frente a 46,34).
- Los parones largos sin acciones tampoco. Hay partidas de horas sin actuar en todas las corridas, también en la base. Los produce el planificador de M2, que solo deja jugar 10 partidas a la vez.
Lo que sí cambia
| Corrida | llamadas | llamadas/paso | actúan | leen transitions |
recorren transitions |
|---|---|---|---|---|---|
| Base v3 | 4.608 | 1,43 | 43,0 % | 6,9 % | 2,1 % |
| A/A v6 | 4.502 | 1,43 | 44,2 % | 6,8 % | 2,2 % |
| E2 v5 | 4.681 | 1,45 | 46,2 % | 7,0 % | 2,1 % |
| E1 v4 | 4.564 | 1,47 | 40,6 % | 10,7 % | 5,1 % |
- E1 lee la lista
transitionsa mano en el 10,7 % de sus llamadas, frente al 6,8–7,0 % de las demás. La proporción sube en 20 de 25 juegos (prueba de signos, p = 0,004). En E2 sube en 15 de 25 (p = 0,42). - De esas llamadas, solo el 19 % actúa, frente al 25–30 % en las demás corridas. Frente a la media de la base, E1 tiene unas 170 llamadas más que leen
transitionssin actuar y unas 130 llamadas menos que actúan. - Actúa en menos llamadas: 40,6 % frente a 43,0–46,2 %. Más bajo en 17 de 25 juegos (p = 0,11).
- Pasos de análisis: 996 y 1.039, los dos más bajos de las 8 pasadas (las demás van de 1.079 a 1.153).
Lectura
- Mecanismo probable, no demostrado. La línea del prompt explicaba que el arnés calcula un libro «a partir de cada transición observada». El modelo no llamó a la función, pero copió la idea: se puso a recorrer
transitionsél mismo. Eso le quitó llamadas que en la base se usan para actuar. - El vínculo con los niveles perdidos, juego a juego, es débil. La correlación de Spearman entre «cuánto más lee
transitions» y «cuántos niveles pierde» es −0,25 en 25 juegos, no significativa. Una parte de la caída de −9 puntos puede ser azar: con dos brazos probados, que uno quede en las dos últimas posiciones de 8 tiene una probabilidad de ~0,07. - Lección de diseño: un texto en el prompt no es neutro aunque el modelo no use la herramienta que describe, porque cambia lo que hace con su presupuesto. Cada brazo debe medir ese cambio de conducta, no solo si se llama a la pieza.
Qué implica para E1b
- La línea de E1b (
PUSH_ADDENDUM, 624 caracteres) no mencionatransitionsni un «libro». Dice que el arnés imprime una línea[effects]después de cadaaction(...). - Cuando termine E1b,
call_profile.pymedirá lo mismo: llamadas que actúan, que leentransitionsy que lo recorren.- Si E1b vuelve a subir la lectura manual o a bajar las llamadas que actúan, tiene el mismo efecto que E1.
- Si no, el empuje desde el arnés habrá evitado esa distracción.