echolabsEl andamiaje no bastó en SWE-bench
115 episodios ejecutados, 18.546 registros/recibos y un resultado negativo de resolución que también publico.
Salí del corpus sintético para probar reparación de repositorios reales con SWE-bench Lite. La inferencia usó Qwen2.5-Coder-32B-Instruct Q4_K_M en dos T4. Los candidatos se ejecutaron localmente en Bubblewrap; el curador SWE-bench 4.1.0 evaluó después los parches congelados en Podman.
El resultado principal
En los mismos 17 issues ejecutados, S resolvió 2 e I₂, F y E resolvieron 1 cada uno. El panel registrado tenía 24 issues por brazo. Se mantuvieron los siete no iniciados por brazo como tales, sin presentarlos como inferencias fallidas ni ocultarlos del denominador registrado.
El ahorro tiene dos lecturas
E consumió 34,14 % menos tokens totales que S. Pero por issue resuelto gastó 266.562 tokens frente a 202.362 de S. No puedo llamar a eso una mejora conjunta de eficacia y eficiencia. Tampoco medí una tasa independiente de alucinación: terminar antes no demuestra alucinar menos.
En todas las fases quedaron 115 episodios ejecutados, 35 no iniciados y 150 registros finales. Se contabilizaron 2.007.488 tokens y 18.546 registros/recibos. La auditoría acreditó custodia y contabilidad en su alcance; no convirtió firmas HMAC en soluciones.
Qué no quedó demostrado
Los dos eventos inicialmente etiquetados como regresión eran observaciones inválidas por imports o colección. Hubo cero regresiones públicas válidamente observadas y no se aisló un beneficio causal del guardarraíl. La biblioteca tampoco publicó ni recuperó lecciones. La campaña no demostró ventaja de resolución de ECHO.
Cómo cierro esta fase
Publico datos, gráficos, contratos, intentos y límites. Las siete figuras PNG y PDF pudieron regenerarse idénticas en el entorno registrado. Eso no garantiza inferencia GPU idéntica en otra máquina. La comprobación posterior de publicación conserva fallos de arranque, metadatos y longitud de ruta; no presento ECHO-5.1 como un release científico verde.
Figuras y datos de la campaña
Las siete figuras mantienen los denominadores registrados y separan fallos de observación, no iniciados y resultados del mecanismo.
PDF de resolución · Resultados completos CSV