Evaluación común con 14B · resultados de desarrollo

E=3/3, F=3/3, S=2/3 e I2=2/3. Registros distingue los flujos con crítica y reparación de los controles en esta ejecución. E no supera a F. Es una mejora observada en tres tareas conocidas, no una confirmación independiente ni el cierre científico de ECHO-5.1.

Rama local research/echo-5.1-pcworld1, implementación 322d0ab, contrato 0.6.0-development, plan previo. Sin publicación ni push. Los nueve archivos del manifiesto congelado conservan sus hashes después de la ejecución. No se cambió el ensayo durante la medición.

Matriz y coste

Mismas variantes conocidas repair-v2, semilla 47, doce episodios en orden contrabalanceado y Qwen2.5-Coder-14B-Instruct Q4_K_M. Por episodio: 25.000 tokens, 50 herramientas, 12 llamadas LLM, seis críticas, 128 fuel, 300 s CPU y 900 s de plazo. Modelo, runtime y oráculos conservados respecto al piloto anterior.

Brazo	Registros	Rutas	Paginación	Aceptadas	Tokens observados	Herramientas	Tiempo de episodios
S	2/4	4/4	5/5	2/3	5.210	58	150,622 s
I2	2/4	4/4	5/5	2/3	2.352	59	71,762 s
F	4/4	4/4	5/5	3/3	16.049	104	162,653 s
E	4/4	4/4	5/5	3/3	16.174	107	163,579 s

Las celdas de familia cuentan solo casos comunes públicos/finales; F y E también pasan el contraejemplo adicional de Registros, obteniendo 5/5 en sus recibos finales completos. No se comparan denominadores de distinta dificultad. Total: 39.785 tokens observados y 43 llamadas LLM, sin uso desconocido cobrado. E gasta 125 tokens más que F (aproximadamente 0,78 %) con la misma aceptación. S e I2 son más baratos y fallan una tarea más. No hay dominancia de E en coste.

Evidencia del mecanismo

Registros: S e I2 conservan el error de escoger el último valor de una clave repetida y fallan dos casos comunes. S tiene revisión propia e I2 dos propuestas; este resultado no prueba que sean incapaces de reparar en general.

E encuentra una refutación en duplicate-keys, repara en un intento, reproduce el testigo sobre el parche y pasa empty-singleton con []. F pasa primero empty-singleton, encuentra la refutación en first-occurrence-order, repara en un intento y reproduce ambos sondeos sobre el parche. Cada uno supera todos sus casos finales. No hubo sondeos inválidos ni duplicados en estos episodios. E consume 4.153 tokens; F, 2.952. El crítico sí descubre aquí un defecto real.

Rutas: ambos flujos con crítico reparan en un intento el fallo inicial del ejemplo público, igual que en el piloto anterior. El descubrimiento de ese defecto no corresponde al crítico. Después completan dotdot-cancellation y root-boundary, con tres sondeos duplicados descartados en E y cuatro en F. E consume 9.618 tokens y F 10.795. Los cuatro brazos pasan los casos finales.

Paginación: todos pasan sin reparación guardada. E consume 2.403 tokens y F 2.302, frente a 1.089 de S y 762 de I2. La coordinación no añade aciertos aquí.

Qué cambió y qué quedó comprobado

La aceptación final ahora usa el mismo criterio para los cuatro brazos: completar todos los casos requeridos dentro del presupuesto. La cobertura del crítico sigue en los recibos, pero no bloquea por sí sola la evaluación. Se comprueba la cuota antes de cada reintento, sin reservar una séptima crítica. El prompt exige explícitamente cero o un elemento en empty-singleton; el ejemplo de Registros usa value, conforme al contrato, no val.

GRADUADO_POR_SUPERVIVENCIA únicamente significa candidato reparado listo para evaluar, con verified: false. No encontrar otra refutación no prueba corrección. Las pruebas de software comprueban tanto su paso a evaluación como el rechazo posterior si falla un caso final, además de la parada por cuota de ambos brazos.

Ningún episodio GPU de esta tanda necesitó esa graduación por cobertura incompleta: E y F consiguieron dos categorías en las tres tareas. Por tanto, el resultado no demuestra que la regla de graduación causara la mejora. Cambian conjuntamente prompt y protocolo; falta una ablación para atribuir el efecto. La mejora tampoco aísla la contribución de CAM frente a retener los mismos testigos mediante otra implementación.

El piloto 0.5 permanece 2/3 en todos los brazos bajo sus reglas originales. Sus candidatos de Registros no se reevaluaron para subir retrospectivamente la puntuación. Esta es una ejecución nueva y distinta.

Verificación e infraestructura

• 202 pruebas PCWorld pasan en 77,333 s. Incluyen regresiones, oráculos intactos, candidatos graduados pero incorrectos, aceptación común y cuotas del crítico.
• 12/12 episodios terminados; 619 recibos válidos en la auditoría automática y su repetición explícita. Sin discrepancias, errores de episodio, timeouts ni destrucción de memoria (destroyed == 0). Alcance finito, no prueba universal.
• Notebook privado rogeernavarro/echo51-graduation14b-20261013, versión 1, estado COMPLETE. Kaggle solo ejecuta inferencia; candidatos y oráculos se ejecutan localmente bajo Bubblewrap/cgroups con el rootfs fijado.
• 49/49 capas en GPU, 9.161 MiB en CUDA0 y 105 MiB en la segunda T4 al cargar. Preparación: 207,393 s; worker completo: 759,356 s, unos 12 min 39 s.
• 129 solicitudes de transporte, todas HTTP 200: plantilla, tokenización y generación para 43 llamadas. Worker detenido normalmente; supervisor, broker y túnel comprobados inactivos.
• Cuota observada: 25,54 → 25,33 horas GPU restantes, unos 0,21 h por la resolución del contador. No es una medición de consumo eléctrico.

Artefactos y reproducción

• ECHO-5.1/artifacts/graduation14b-pilot-20261013/: recibos, snapshots, resultados, fuentes, tareas, contrato, auditoría y summary-by-arm.json.
• ECHO-5.1/artifacts/graduation-control-20261013/: manifiesto congelado, GPU lista y log de transporte. Contiene credenciales privadas; no publicar.
• ECHO-5.1/artifacts/kaggle-graduation14b-output/: informe y logs del worker. Su input contiene una credencial efímera del transporte ya apagado; no publicar.
• SHA-256 de result.json: f3d108e2944906097ea2f0820b1f4d8931186edc535b0e15d4612f702f5e9aea.
• SHA-256 de audit.json: 3d7ee4f44e31ed844c21b2033a506988d868ff68759b2e2aad6902504649819e.

Auditoría sin volver a ejecutar candidatos:

python3 -I -B ECHO-5.1/scripts/run.py audit ECHO-5.1/artifacts/graduation14b-pilot-20261013

Se resuelve el bloqueo de protocolo y se observa reparación útil. Para cerrar la hipótesis de ventaja de ECHO faltan nuevas familias reservadas, repeticiones dimensionadas y ablaciones de crítico, memoria y router a presupuesto comparable. No se lanzó otra campaña para buscar un marcador más favorable. S6 sigue aplazado.