Documento originalAbrir .md

Dónde pierde puntos la base (F1 v3) · análisis sin GPU (19/10)

Base v3: 49,66 de 100 (cap 1,15, media de 2 pasadas, 25 juegos).

Descomposición

  • Perdido en niveles que no completa: 49,15 puntos.
  • Perdido por ineficiencia en los niveles que sí completa: 1,19 puntos. Es la diferencia entre completarlos con las acciones de un humano y las que usó.
Grupo Juegos Puntos perdidos por niveles no alcanzados
Atascados (0–1 niveles) g50t, sk48, tn36, bp35, lf52, wa30, s5i5 90–100 cada uno
A medias dc22, sp80, su15, ls20, ft09, re86, m0r0, ka59, sc25, cn04 28–76
Casi resueltos tu93, sb26, tr87 0–10
Resueltos ar25, cd82, lp85, r11l, vc33 0

Qué significa para elegir piezas

  1. Hacer los mismos niveles con menos acciones apenas da puntos: hay como mucho ~1,2 en juego. Una pieza que solo ahorre acciones no puede pasar el criterio. E2 (planificador) solo sumaría si además ayuda a completar niveles de navegación que hoy no salen.
  2. Los puntos están en entender la regla de juegos donde el modelo se atasca. El planificador de M2 deja casi sin tokens a los juegos sin progreso: g50t jugó 41 y 19 acciones; sk48, 105 y 48. Es racional, porque ahí la ganancia esperada por token es baja.
  3. Explorar sin entender no sirve con esta fórmula. E4 offline (F2-E4-OFFLINE.md) añadió entre +0,06 y +0,4 puntos; en los juegos atascados, casi 0.
  4. Candidata siguiente, post-rojo de E1 (E1b):
    • que el harness entregue en cada resultado de acción un resumen corto y verificado de lo que ha hecho cada acción hasta ahora (n/N), en vez de esperar a que el modelo llame a effects(). En E1 la llamó 16 veces en 3.108 pasos;
    • es un hecho calculado, no una nota escrita por el modelo, así que no repite lo que Franzen midió sin mejora;
    • solo se lanza si el A/A deja una banda que permita ver un efecto de unos pocos puntos.

Vista previa

Abrir original