Cuando el crítico encontró el fallo

En PCWorld hice que un proponente escribiera código, un crítico buscara contraejemplos y un verificador comprobara cada candidato. Mi pregunta era si esa organización mejoraba al agente único y a dos propuestas independientes con presupuestos comparables.

Del primer empate a una reparación real

El piloto local con Qwen2.5-Coder-7B-Instruct Q4_K_M terminó en 2/6 para todos los brazos. Un diagnóstico separado sí completó el ciclo de crítica, refutación en sandbox, recibo, reparación y verificación. Encontrar un fallo y saber repararlo resultaron ser capacidades distintas.

Con Qwen2.5-Coder-14B-Instruct Q4_K_M, el ensayo de categorías obtuvo S=6/12, I₂=6/12, F=8/12 y E=8/12. Las dos mejoras de los especialistas se concentraron en variantes de Registros. E consumió un 18,93 % menos tokens que F, aunque la mayor parte de esa diferencia procedió de un único episodio fallido de CSV.

Un techo al cambiar de modelo

Con Qwen2.5-Coder-32B-Instruct Q4_K_M, el corpus sintético quedó saturado: S, F, E y la condición E_shared alcanzaron 12/12. No quedaba margen de aciertos para que el arnés se separara del modelo base. Un empate perfecto tampoco demuestra que la coordinación mejore la capacidad.

Qué pude sostener

El ciclo de reparación funcionó en casos documentados y los especialistas mejoraron esa muestra sintética con 14B. No puedo elevarlo a una ley general multiagente: las familias ya eran conocidas, los consumos efectivos diferían y la comparación externa de SWE-bench dio otro resultado. Conservo ambas evidencias.