echolabsE4-BENCH-ARC3-LLM · resultados del examen (2026-09-25)
Contrato: ECHO4-BENCH-ARC3-LLM-DESIGN.md (D aprobado antes del examen).
- Modelo: Qwen3-30B-A3B-Instruct-2507, por OpenRouter.
- Juegos: los 16 de examen.
- Presupuesto: 60 llamadas y como mucho 2000 acciones por juego.
- Arnés: congelado en
lab/arc3/llm-exam-v1/arc3_llm-v1.py(sha2562ad09a5c…).
Veredicto: VERDE según el contrato
| Id | Condición | Resultado |
|---|---|---|
| D1 | niveles de L+ECHO > niveles de L | 4 > 0 VERDE |
| D2 | niveles de L+ECHO > niveles de L+P | 4 > 1 VERDE |
| D3 | la repetición da 0 diferencias | 48 partidas, 0 VERDE |
| D4 (se informa) | L+ECHO frente a ECHO v2 solo | 4 frente a 13: el modelo estorba |
Totales
| Brazo | Niveles (de 112) | Puntuación oficial media | Acciones del modelo / de ECHO | Coste |
|---|---|---|---|---|
| L (Qwen solo) | 0 | 0 | 14 998 / 0 | 0,33 $ |
| L+P (con la percepción de ECHO) | 1 (tn36) | 0,89 | 15 166 / 0 | 0,37 $ |
| L+ECHO | 4 (lf52 1, r11l 1, vc33 2) | 0,23 | 12 413 / 2088 | 0,41 $ |
| ECHO v2 solo (referencia, sin modelo) | 13 | 1,00 | 0 / todas | 0 $ |
| RANDOM (referencia) | 2 | 1,09 | — | 0 $ |
Coste del examen: 1,11 $. Coste del bloque con el desarrollo: 1,65 $.
Quién completó cada nivel (lo que hay que leer antes de citar el verde)
- Examen, L+ECHO: los 4 niveles los completó una acción de
EXPLORE, es decir, ECHO explorando por orden del modelo. El modelo decidió cuándo delegar, pero ninguna jugada suya completó un nivel. - Examen, L+P: el nivel de tn36 lo completó el propio modelo en 10 acciones, con puntuación 14,3. Es la jugada más eficiente del bloque.
- Desarrollo, L+ECHO: un nivel lo completó
EXPLORE(lp85) y otro el modelo (su15).
Lectura honesta
- Con ECHO, Qwen pasa de 0 a 4 niveles. Es lo que pedía el contrato, y es verde.
- El mecanismo no es que Qwen entienda mejor el juego. Qwen aprende a pedirle a ECHO que explore, y es la exploración de ECHO la que completa los niveles.
- ECHO solo completa 13 niveles; con Qwen al mando, 4. Un modelo de este tamaño gasta la mayoría de las acciones en jugadas propias que no llevan a nada: estorba. Lo declaramos como el contrato pedía.
- En la puntuación oficial, L+P (0,89) supera a L+ECHO (0,23). Esa diferencia sale de un solo nivel en tn36.
- Queda sin responder si un modelo que de verdad infiera las reglas mejoraría con ECHO. Este bloque no lo mide: Qwen3-30B no infiere las reglas de estos juegos.
Qué no afirma
- Nada sobre modelos más fuertes, sobre el conjunto privado de ARC-AGI-3 ni sobre el premio.
- La puntuación la calcula nuestro código con la fórmula publicada. No es una puntuación enviada a ARC Prize.
Corrección (2026-09-25): la puntuación oficial estaba mal calculada
Con la fórmula de ARC Prize (cada nivel al cuadrado y niveles ponderados por su número), la puntuación oficial es:
- L: 0,00 (antes 0);
- L+P: 0,22 (antes 0,89);
- L+ECHO: 0,005 (antes 0,23).
Los niveles y el veredicto (basado en niveles) no cambian. Ver ECHO4-BENCH-ARC3-RESULTS.md.