echolabsE4-BENCH-ARC3 · resultados del examen (2026-09-24)
Contrato: ECHO4-BENCH-ARC3-D-DESIGN.md. 16 juegos de examen, 2000 acciones por juego y
brazo, sin modelo de lenguaje, 0 $.
Veredicto
| Id | Condición | v1 | v2 |
|---|---|---|---|
| D1 | niveles de ECHO > media de RANDOM (3 semillas) | 8 > 2 VERDE | 13 > 2 VERDE |
| D2 | niveles de ECHO > niveles sin BOUNDARY | 8 > 1 VERDE | 13 > 2 VERDE |
| D3 | la repetición da 0 diferencias | 80 partidas, 0 VERDE | 32 partidas, 0 VERDE |
v1 VERDE y v2 VERDE. Auditoría: lab/arc3/exam-v1/audit.txt y lab/arc3/exam-v2/audit.txt.
Totales
| Brazo | Niveles (de 112) | Juegos con ≥1 nivel | Puntuación oficial media (0–100) |
|---|---|---|---|
| ECHO v1 | 8 | 7 | 1,73 |
| ECHO v2 | 13 | 9 | 1,00 |
| sin BOUNDARY v1 | 1 | 1 | 0,03 |
| sin BOUNDARY v2 | 2 | 2 | 0,10 |
| RANDOM (3 semillas, media) | 2 | 2 | 1,09 |
Por juego (niveles completados · puntuación)
| Juego | ECHO v1 | ECHO v2 | RANDOM s0 / s1 / s2 |
|---|---|---|---|
| ar25 | 0 | 1 · 0,21 | 0 / 0 / 0 |
| cd82 | 1 · 0,59 | 1 · 0,61 | 0 / 0 / 0 |
| cn04 | 0 | 0 | 0 / 0 / 0 |
| dc22 | 0 | 1 · 1,07 | 0 / 0 / 0 |
| ft09 | 0 | 1 · 1,03 | 0 / 0 / 0 |
| ka59 | 0 | 0 | 0 / 0 / 0 |
| lf52 | 1 · 1,32 | 1 · 1,00 | 0 / 0 / 0 |
| r11l | 2 · 17,00 | 1 · 1,12 | 1 / 1 / 1 |
| re86 | 0 | 0 | 0 / 0 / 0 |
| sb26 | 0 | 0 | 0 / 0 / 0 |
| sc25 | 0 | 0 | 0 / 0 / 0 |
| sp80 | 1 · 6,13 | 1 · 0,59 | 1 / 1 / 1 (≈16 cada una) |
| tn36 | 1 · 0,76 | 0 | 0 / 0 / 0 |
| tr87 | 0 | 0 | 0 / 0 / 0 |
| tu93 | 0 | 4 · 7,03 | 0 / 0 / 0 |
| vc33 | 2 · 1,93 | 2 · 3,32 | 0 / 0 / 0 |
Lectura honesta
- En niveles, ECHO gana al azar con claridad: 13 frente a 2, y en 9 de 16 juegos frente a 2.
- En la puntuación oficial, no. La fórmula premia completar un nivel con tan pocas acciones como un humano. ECHO explora: necesita cientos de acciones donde un humano usa decenas. v2 completa más niveles que v1, pero con más acciones cada uno, y su puntuación media (1,00) queda por debajo de la del azar (1,09). Esa media del azar sale casi entera de sp80, donde acierta pronto por suerte. v1 sí la supera (1,73), sobre todo por r11l.
- La ablación confirma la pieza: sin BOUNDARY (clics al azar, el borde del tiempo cuenta como estado), ECHO cae al nivel del azar.
- 7 de 16 juegos siguen en 0 niveles para todos los brazos.
Por qué no «resuelve» ARC-AGI-3
ECHO-ARC3 sabe qué depende de él, recuerda lo vivido y no repite lo que no sirve. No sabe cuál es el objetivo del juego. Completa un nivel cuando su exploración lo alcanza, no porque haya entendido la regla. Para puntuar alto hace falta inferir la regla («hay que llevar el bloque a la casilla del mismo color») y actuar directamente. Ese es el papel del brazo con córtex del contrato: el modelo propone la regla y ECHO la comprueba actuando. Es de pago y necesita la orden de Nav.
Qué no afirma
- Nada sobre el conjunto privado de ARC-AGI-3 ni sobre el premio.
- La puntuación la calcula nuestro código con la fórmula publicada y las acciones de referencia que trae cada juego. No es una puntuación enviada a ARC Prize.
Corrección (2026-09-25): la puntuación oficial estaba mal calculada
Las reglas de ARC Prize 2026 en Kaggle definen la puntuación así:
- por nivel:
min(acciones_humano / acciones_agente, 1)al cuadrado; - por juego: media ponderada por el número de nivel (el nivel 1 pesa 1, el nivel 2 pesa 2…);
- total: media de los juegos.
Nuestra función score() hacía una media simple sin cuadrado, lo que inflaba la puntuación.
Recalculada desde los mismos registros (los niveles no cambian y los veredictos D1–D3 tampoco,
porque se basaban en niveles):
| Brazo | Niveles | Oficial correcta | Publicada antes |
|---|---|---|---|
| ECHO v1 | 8 | 0,34 | 1,73 |
| ECHO v2 | 13 | 0,07 | 1,00 |
| RANDOM (media de 3 semillas) | 2 | 0,29 | 1,09 |
| sin BOUNDARY v1 / v2 | 1 / 2 | 0,00 / 0,00 | 0,03 / 0,09 |
Lectura corregida: en puntuación oficial, ECHO v1 queda apenas por encima del azar y v2 por debajo. Los niveles completados (13 frente a 2) siguen siendo el resultado que se sostiene.