echolabsF2 · E4 offline (explorador de ECHO en CPU tras el LLM) · resultado: ganancia mínima
Medición sin GPU (19/10). Herramientas: tools/e4_offline.py y echo_helpers/echo_explore.py (commit 3294748).
Qué se midió
- Para cada partida no ganada de las corridas F1 (base v3) y E1 (v4), cuyo juego exista en local (24 de 25; falta ls20):
- se repiten en el motor local las acciones grabadas del LLM, comprobando cada tablero (0 diferencias);
- desde donde paró el LLM, el explorador de ECHO juega hasta 10.000 acciones o 300 s, semilla 0;
- se puntúa con el marcador local, que cuenta también las acciones del LLM en el nivel a medias, a cap 1,15.
- La ganancia es aditiva sobre el total de la corrida: media de pasadas y de los 25 juegos.
Resultado
| Corrida | Partidas exploradas | Niveles añadidos | Partidas con ganancia | Ganancia sobre el total |
|---|---|---|---|---|
| F1 base v3 (49,66) | 32 | 4 | 3 | +0,060 |
| E1 v4 (39,06) | 36 | 7 | 5 | +0,424 |
- De dónde sale la ganancia:
- tu93: al LLM de E1 p0 le faltaba una acción para ganar cuando llegó el límite: 80 → 100. En la base, tu93 p1: 80 → 82,7.
- En E1, ft09 p1: 12,65 → 13,49.
- Lo que el explorador descubre por sí mismo casi no puntúa, porque necesita miles de acciones por nivel y la fórmula (
(humano/agente)^2) lo castiga:- dc22 p0: 0 → 2 niveles, +0,02 en el juego;
- m0r0 p0: 0 → 2 niveles, +0,30;
- g50t p0: 0 → 1 nivel, +0,00;
- lf52 p1: +1 nivel, +0,27.
- Coincide con el examen de septiembre de ECHO-4 sin modelo: 13 niveles de 112, con una puntuación oficial media de 1,00.
Restricciones del envío real (comprobadas)
- La competición permite 9 h de ejecución en GPU («GPU Notebook <= 9 hours run-time») y M2 ya las usa enteras. No hay tiempo después del LLM.
- En modo competición no se puede abrir una segunda partida de un juego (
arc_agi/api.py), aunque el marcador puntúe por la mejor (scorecard.py). E4 tendría que jugar en la misma partida que el LLM, en el tramo final. - El LLM completa en sus últimos 10 min el 1,4 % de sus niveles (base) o el 3,2 % (E1), y en los últimos 30 min el 2,8 % o el 4,8 %. Quitarle ese tiempo cuesta más de lo que E4 añade, salvo que E4 juegue solo partidas que esperan turno sin plaza.
Lectura
- E4, tal como está, añade entre +0,06 y +0,4 puntos sobre 25 juegos. Es positivo pero muy por debajo de cualquier banda de ruido, y lleva el coste de adaptar el planificador de M2.
- No se lleva a Kaggle por ahora. Una corrida de verificación (~4,3 h de RTX) para +0,1 esperado no compensa.
- Hallazgo aprovechable: en partidas cortadas por el límite, a veces el LLM estaba a una acción del final. Eso es del planificador de M2, no de ECHO, y no se toca: sería cambiar la base.