Dónde pierde puntos la base (F1 v3) · análisis sin GPU (19/10)
Base v3: 49,66 de 100 (cap 1,15, media de 2 pasadas, 25 juegos).
Descomposición
- Perdido en niveles que no completa: 49,15 puntos.
- Perdido por ineficiencia en los niveles que sí completa: 1,19 puntos. Es la diferencia entre completarlos con las acciones de un humano y las que usó.
| Grupo | Juegos | Puntos perdidos por niveles no alcanzados |
|---|---|---|
| Atascados (0–1 niveles) | g50t, sk48, tn36, bp35, lf52, wa30, s5i5 | 90–100 cada uno |
| A medias | dc22, sp80, su15, ls20, ft09, re86, m0r0, ka59, sc25, cn04 | 28–76 |
| Casi resueltos | tu93, sb26, tr87 | 0–10 |
| Resueltos | ar25, cd82, lp85, r11l, vc33 | 0 |
Qué significa para elegir piezas
- Hacer los mismos niveles con menos acciones apenas da puntos: hay como mucho ~1,2 en juego. Una pieza que solo ahorre acciones no puede pasar el criterio. E2 (planificador) solo sumaría si además ayuda a completar niveles de navegación que hoy no salen.
- Los puntos están en entender la regla de juegos donde el modelo se atasca. El planificador de M2 deja casi sin tokens a los juegos sin progreso: g50t jugó 41 y 19 acciones; sk48, 105 y 48. Es racional, porque ahí la ganancia esperada por token es baja.
- Explorar sin entender no sirve con esta fórmula. E4 offline (
F2-E4-OFFLINE.md) añadió entre +0,06 y +0,4 puntos; en los juegos atascados, casi 0. - Candidata siguiente, post-rojo de E1 (E1b):
- que el harness entregue en cada resultado de acción un resumen corto y verificado de lo que ha hecho cada acción hasta ahora (n/N), en vez de esperar a que el modelo llame a
effects(). En E1 la llamó 16 veces en 3.108 pasos; - es un hecho calculado, no una nota escrita por el modelo, así que no repite lo que Franzen midió sin mejora;
- solo se lanza si el A/A deja una banda que permita ver un efecto de unos pocos puntos.
- que el harness entregue en cada resultado de acción un resumen corto y verificado de lo que ha hecho cada acción hasta ahora (n/N), en vez de esperar a que el modelo llame a