echolabsE4-BENCH-1 A · resultados del examen (2026-09-25)
Contrato D: ECHO4-BENCH1-A-D-DESIGN.md, aprobado antes del examen.
- Datos: 200 preguntas de SimpleQA, 100 de MMLU-Pro y 50 de GSM8K, congeladas desde el
2026-09-24 (sha256
a068c4f5…). - Modelos: 4. Gemini salió por el tope de 2 $.
- Salida:
lab/echo4/bench1-a-exam-v1/. Informe con sha25668358e80…. - Auditoría en un proceso nuevo, sin llamar a ningún modelo ni a Wikipedia:
valid: true, mismo sha256. - Coste: 1,55 $ (Qwen 0,02; GPT-5.4 mini 0,16; DeepSeek 0,43; Sonnet 0,94).
Veredicto: VERDE
| Id | Condición | Resultado |
|---|---|---|
| D1 | % de incorrectas de M+R+ECHO < % de M+R en ≥3 de 4 modelos | 4 de 4 |
| D2 | precisión de M+R+ECHO ≥ precisión de M+R en ≥3 de 4 | 4 de 4 |
| D3 | ECHO nunca convierte una respuesta en correcta | 0 violaciones |
| D4 | la auditoría reconstruye el mismo informe | válida |
SimpleQA (200 preguntas)
| Modelo | Incorrectas M → M+R → ECHO | Correctas M → M+R → ECHO | Precisión M+R → ECHO | F-score M+R → ECHO |
|---|---|---|---|---|
| Claude Sonnet 5 | 104 → 19 → 14 | 38 → 59 → 55 | 75,6 % → 79,7 % | 42,4 → 40,8 |
| DeepSeek-V4.1-Flash | 101 → 66 → 14 | 70 → 91 → 54 | 57,9 % → 79,4 % | 50,9 → 40,2 |
| GPT-5.4 mini | 145 → 76 → 27 | 25 → 65 → 56 | 46,0 % → 67,4 % | 38,0 → 39,5 |
| Qwen3-30B-A3B | 129 → 34 → 17 | 30 → 60 → 53 | 63,8 % → 75,7 % | 40,8 → 39,2 |
Lectura:
- Frente al modelo solo (M), con Wikipedia y ECHO las respuestas inventadas bajan entre un 81 % y un 87 %. Sonnet pasa de 104 a 14; GPT-5.4 mini, de 145 a 27.
- Frente a Wikipedia sola (M+R), ECHO quita incorrectas en los 4 modelos. Donde más, en DeepSeek: 66 → 14, porque DeepSeek responde aunque el extracto no lo respalde.
- El precio: ECHO también quita respuestas correctas, porque su verificación es estricta: toda la respuesta tiene que estar en un extracto. El F-score, que mezcla aciertos y cobertura, baja en 3 de los 4 modelos y sube en GPT-5.4 mini. Lo publicamos como coste.
MMLU-Pro (100): control negativo
| Modelo | Correctas M → M+R → ECHO | Incorrectas M+R → ECHO | No intentadas con ECHO |
|---|---|---|---|
| Sonnet 5 | 87 → 84 → 6 | 13 → 2 | 92 |
| DeepSeek | 81 → 71 → 7 | 3 → 0 | 93 |
| GPT-5.4 mini | 51 → 46 → 2 | 48 → 5 | 93 |
| Qwen3-30B | 46 → 48 → 1 | 39 → 2 | 97 |
Como se esperaba, ECHO se abstiene casi siempre: las opciones de MMLU-Pro rara vez aparecen literalmente en Wikipedia. No sube ningún acierto (D3).
- Fallo a declarar: en GPT-5.4 mini y Qwen, entre lo poco que ECHO deja pasar hay más incorrectas que correctas (GPT: 2 correctas y 5 incorrectas). Cuando el texto de una opción equivocada sale en un extracto, la verificación por tokens la acepta. Aquí ECHO no sirve.
GSM8K (50): límite
Los 4 modelos aciertan entre 47 y 49 de 50. ECHO se abstiene en las 50, porque no tiene forma de verificar un cálculo. Es el límite declarado en el contrato.
Qué demuestra y qué no
- Demuestra, en un banco oficial y con 4 modelos distintos, que el cortafuegos de ECHO convierte a un modelo que inventa en uno que se equivoca mucho menos y dice «no lo sé» cuando no tiene evidencia.
- No demuestra que ECHO haga más listo al modelo. Por construcción, no puede crear un acierto.
- No sirve para conocimiento académico de opción múltiple ni para matemáticas.
- El corrector es determinista y más estricto que el oficial de SimpleQA, que usa un modelo. Nuestros números no son comparables uno a uno con las tablas oficiales.
- Gemini solo tiene resultados de desarrollo.
Gráficas: chart-simpleqa.png, chart-precision-coverage.png y chart-mmlupro.png (y en
.svg).