echolabs
Documento originalAbrir .md

F1 · A/A (la base repetida sin cambios) · ruido entre corridas y base agrupada

  • Corrida: kernel v6, notebook de la base sin ningún cambio (ipynb 59fde9ba2617). Subido el 19/10 a las 05:42:56 UTC; COMPLETE hacia las 10:03; 15.340 s de ejecución (4,26 h de RTX). 25 juegos × 2 pasadas = 50 partidas, 0 Traceback, submission.parquet presente. Salida en ECHO-5.5/artifacts/campaign/f1-base-aa-v6/ (fuera de git).
  • Para qué sirve: medir cuánto cambia la puntuación cuando se repite el mismo programa con el mismo modelo, y agrupar las dos corridas en una base de 4 pasadas. El criterio revisado se declaró el 19/10 a las 03:25, antes del A/A: la banda es el máximo menos el mínimo de los 4 totales por pasada.

Lectura

  • La base repetida saca 46,34 (cap 1,15) frente a 49,66: −3,32. Por juegos: 10 mejor, 12 peor y 3 igual. Hay juegos que se mueven entre 30 y 67 puntos (cn04, cd82, m0r0, s5i5, tr87).
  • Base agrupada (cap 1,15): 48,00, con pasadas 47,45 / 51,88 / 41,85 / 50,84 y banda 10,03. Con cap 1: 46,09 y banda 9,88.
  • E2 (46,23) es indistinguible de una repetición de la base. Cuadra con 0 llamadas a echo_plan().
  • E1 (39,06) sigue sin pasar (−8,94 frente a una banda de 10,03). Sus dos pasadas (38,48 y 39,64) son las dos más bajas de los 8 totales tipo base: base ×2, A/A ×2, E2 ×2 y E1 ×2. Por azar eso pasa con probabilidad 1/C(8,2) = 1/28 ≈ 0,04. Es una pista de que E1 perjudicó, no un veredicto.
  • Consecuencia para los brazos: con este criterio solo se detecta un efecto de unos +10 puntos (umbral 58,03 con cap 1,15). Un brazo con +3 o +5 reales no se distingue del azar con 2 o 4 pasadas.

Comparación pareada · AA frente a la base

cap = 1

  • Total base 47.91 (pasadas 45.75, 50.07); total AA 44.28 (pasadas 40.18, 48.37).
  • Diferencia -3.63 frente a banda de ruido 4.31.
  • Juegos: 11 mejor, 12 peor, 2 igual; prueba de signos p = 1.000.
  • Niveles por pasada: base [104, 108], AA [99, 109]. Acciones por nivel completado: base 37.5, AA 37.3.
  • Tokens generados por pasada: base [4389080, 4307134], AA [4501121, 4166689].
  • Veredicto (DESIGN §4): no pasa.

cap = 1.15

  • Total base 49.66 (pasadas 47.45, 51.88); total AA 46.34 (pasadas 41.85, 50.84).
  • Diferencia -3.32 frente a banda de ruido 4.42.
  • Juegos: 10 mejor, 12 peor, 3 igual; prueba de signos p = 0.832.
  • Niveles por pasada: base [104, 108], AA [99, 109]. Acciones por nivel completado: base 37.5, AA 37.3.
  • Tokens generados por pasada: base [4389080, 4307134], AA [4501121, 4166689].
  • Veredicto (DESIGN §4): no pasa.

Por juego (media de pasadas, cap = 1)

Juego base AA Δ
ar25-0c556536 100.00 100.00 +0.00
bp35-0a0ad940 1.11 1.32 +0.21
cd82-fb555c5d 94.83 49.08 -45.75
cn04-2fe56bfb 71.43 4.76 -66.67
dc22-fdcac232 23.40 47.62 +24.22
ft09-0d8bbf25 47.62 73.81 +26.19
g50t-5849a774 0.00 28.10 +28.10
ka59-38d34dbb 44.10 16.85 -27.25
lf52-271a04aa 3.64 1.82 -1.82
lp85-305b61c3 100.00 100.00 +0.00
ls20-9607627b 23.25 16.98 -6.27
m0r0-492f87ba 45.60 80.61 +35.01
r11l-495a7899 100.00 85.71 -14.29
re86-8af5384d 49.26 39.07 -10.19
s5i5-18d95033 9.30 39.96 +30.66
sb26-7fbdac44 89.50 90.48 +0.97
sc25-635fd71a 57.21 62.45 +5.23
sk48-d8078629 1.26 2.78 +1.52
sp80-589a99af 26.19 4.76 -21.43
su15-1944f8ab 28.66 13.09 -15.57
tn36-ef4dde99 1.58 1.79 +0.20
tr87-cd924810 90.28 58.96 -31.32
tu93-0768757b 85.28 77.10 -8.18
vc33-5430563c 96.89 92.88 -4.01
wa30-ee6fef47 7.33 16.97 +9.64

E1 frente a la base agrupada (compare.py f1-base-v3 f2-e1-v4 --arm E1 --also-base f1-base-aa-v6)

cap = 1

  • Total base 46.09 (pasadas 45.75, 50.07, 40.18, 48.37); total E1 36.85 (pasadas 36.57, 37.12).
  • Diferencia -9.25 frente a banda de ruido 9.88.
  • Juegos: 8 mejor, 17 peor, 0 igual; prueba de signos p = 0.108.
  • Niveles por pasada: base [104, 108, 99, 109], E1 [91, 96]. Acciones por nivel completado: base 37.4, E1 40.1.
  • Tokens generados por pasada: base [4389080, 4307134, 4501121, 4166689], E1 [4332277, 4580146].
  • Veredicto (DESIGN §4): no pasa.

cap = 1.15

  • Total base 48.00 (pasadas 47.45, 51.88, 41.85, 50.84); total E1 39.06 (pasadas 38.48, 39.64).
  • Diferencia -8.94 frente a banda de ruido 10.03.
  • Juegos: 9 mejor, 15 peor, 1 igual; prueba de signos p = 0.307.
  • Niveles por pasada: base [104, 108, 99, 109], E1 [91, 96]. Acciones por nivel completado: base 37.4, E1 40.1.
  • Tokens generados por pasada: base [4389080, 4307134, 4501121, 4166689], E1 [4332277, 4580146].
  • Veredicto (DESIGN §4): no pasa.

E2 frente a la base agrupada (compare.py f1-base-v3 f2-e2-v5 --arm E2 --also-base f1-base-aa-v6)

cap = 1

  • Total base 46.09 (pasadas 45.75, 50.07, 40.18, 48.37); total E2 44.39 (pasadas 42.33, 46.46).
  • Diferencia -1.70 frente a banda de ruido 9.88.
  • Juegos: 11 mejor, 13 peor, 1 igual; prueba de signos p = 0.839.
  • Niveles por pasada: base [104, 108, 99, 109], E2 [100, 104]. Acciones por nivel completado: base 37.4, E2 35.6.
  • Tokens generados por pasada: base [4389080, 4307134, 4501121, 4166689], E2 [4334120, 4461355].
  • Veredicto (DESIGN §4): no pasa.

cap = 1.15

  • Total base 48.00 (pasadas 47.45, 51.88, 41.85, 50.84); total E2 46.23 (pasadas 44.14, 48.31).
  • Diferencia -1.78 frente a banda de ruido 10.03.
  • Juegos: 11 mejor, 13 peor, 1 igual; prueba de signos p = 0.839.
  • Niveles por pasada: base [104, 108, 99, 109], E2 [100, 104]. Acciones por nivel completado: base 37.4, E2 35.6.
  • Tokens generados por pasada: base [4389080, 4307134, 4501121, 4166689], E2 [4334120, 4461355].
  • Veredicto (DESIGN §4): no pasa.

Vista previa

Abrir original