echolabsE4-BENCH-1 A · contrato D del examen (APROBADO por Nav el 2026-09-25)
Contrato de origen: ECHO4-BENCH1-A-DESIGN.md. Desarrollo: lab/echo4/bench1-a-dev-v1. Datos
congelados: lab/echo4/bench1-data/samples.json (sha256 a068c4f5…). Examen: 200 de SimpleQA,
100 de MMLU-Pro y 50 de GSM8K, que nadie ha mirado.
Enmienda de modelos (orden de Nav del 2026-09-25: «máximo 2 dólares»)
- Gemini 3.5 Flash sale del examen. En el desarrollo costó 0,85 de 1,12 $, porque razona y no se puede desactivar. En el examen serían ≈3,7 $.
- Quedan 4 modelos: Qwen3-30B-A3B-2507, GPT-5.4 mini, DeepSeek-V4.1-Flash y Claude Sonnet 5. Se ejecutan en ese orden, del más barato al más caro.
- Coste esperado: ≈1,2 $.
- Topes duros:
--budget-usd 2.0, y--floor-usdcon el saldo actual menos 2 $. Si un tope se alcanza antes de un modelo, ese modelo no se ejecuta y se publica lo que haya.
Desarrollo (SimpleQA, 50 preguntas): incorrectas M → M+R → M+R+ECHO
| Modelo | M | M+R | M+R+ECHO | Precisión M+R → ECHO |
|---|---|---|---|---|
| Sonnet 5 | 19 | 3 | 2 | 82 % → 87 % |
| DeepSeek | 18 | 9 | 3 | 74 % → 82 % |
| GPT-5.4 mini | 36 | 13 | 9 | 54 % → 57 % |
| Qwen3-30B | 31 | 9 | 6 | 65 % → 70 % |
En el desarrollo, ECHO baja las incorrectas y sube la precisión en los 4 modelos. A cambio responde menos: su F-score queda por debajo del de M+R en 3 de los 4.
Umbrales (se fijan antes del examen)
| Id | Condición (SimpleQA, 200 preguntas) | Tipo |
|---|---|---|
| D1 | % de incorrectas de M+R+ECHO < % de M+R en al menos 3 de los 4 modelos | principal |
| D2 | precisión de M+R+ECHO ≥ precisión de M+R en al menos 3 de los 4 | principal |
| D3 | ECHO nunca convierte una respuesta en correcta: en cada pregunta, correcta con ECHO ⇒ correcta en M+R. 0 violaciones en todos los modelos y bancos | estructural |
| D4 | la auditoría reconstruye el informe desde los recibos con el mismo sha256 | custodia |
Verde = D1 ∧ D2 ∧ D3 ∧ D4.
Se publica sin umbral:
- el F-score, que probablemente empeora con ECHO: es el coste de abstenerse;
- la cobertura;
- la comparación con M (libro cerrado);
- MMLU-Pro (control negativo: se espera que ECHO se abstenga casi siempre);
- GSM8K (límite: ECHO no puede verificar cálculos).
Qué no afirma
- Que ECHO haga más listo al modelo. Solo puede quitar respuestas, nunca crear una correcta.
- Nada sobre Gemini en el examen: solo tiene resultados de desarrollo.
- El corrector es determinista (coincidencia normalizada), más estricto que el corrector oficial de SimpleQA basado en un modelo. Se declara.
Ejecución
- Herramienta:
echo4/bench1.py, sha256b533c3e1ea5c308d2d6038111724c79e8421fe8fa72edf78e5f060c3f6f03458. - Saldo al empezar: 5,608 $. Topes:
--budget-usd 2.0 --floor-usd 3.61. - Salida:
lab/echo4/bench1-a-exam-v1.