echolabsCuando el crítico encontró el fallo
PCWorld: especialistas, contraejemplos, reparación y un beneficio observado en tareas sintéticas.
En PCWorld hice que un proponente escribiera código, un crítico buscara contraejemplos y un verificador comprobara cada candidato. Mi pregunta era si esa organización mejoraba al agente único y a dos propuestas independientes con presupuestos comparables.
Del primer empate a una reparación real
El piloto local con Qwen2.5-Coder-7B-Instruct Q4_K_M terminó en 2/6 para todos los brazos. Un diagnóstico separado sí completó el ciclo de crítica, refutación en sandbox, recibo, reparación y verificación. Encontrar un fallo y saber repararlo resultaron ser capacidades distintas.
Con Qwen2.5-Coder-14B-Instruct Q4_K_M, el ensayo de categorías obtuvo S=6/12, I₂=6/12, F=8/12 y E=8/12. Las dos mejoras de los especialistas se concentraron en variantes de Registros. E consumió un 18,93 % menos tokens que F, aunque la mayor parte de esa diferencia procedió de un único episodio fallido de CSV.
Un techo al cambiar de modelo
Con Qwen2.5-Coder-32B-Instruct Q4_K_M, el corpus sintético quedó saturado: S, F, E y la condición E_shared alcanzaron 12/12. No quedaba margen de aciertos para que el arnés se separara del modelo base. Un empate perfecto tampoco demuestra que la coordinación mejore la capacidad.
Qué pude sostener
El ciclo de reparación funcionó en casos documentados y los especialistas mejoraron esa muestra sintética con 14B. No puedo elevarlo a una ley general multiagente: las familias ya eran conocidas, los consumos efectivos diferían y la comparación externa de SWE-bench dio otro resultado. Conservo ambas evidencias.