Responder menos para equivocarse menos: el examen SimpleQA

Las gráficas originales

La pregunta que medí

Quise separar el conocimiento del modelo del efecto de aportar evidencia y del efecto de filtrarla. Comparé M, modelo solo; M+R, modelo con extractos de Wikipedia; y M+R+ECHO, los mismos extractos con el cortafuegos. El examen congelado incluyó 200 preguntas de SimpleQA, 100 de MMLU-Pro y 50 de GSM8K por modelo. El registro conserva un coste de 1,55 dólares y una auditoría válida reconstruida sin nuevas llamadas.

Estos son los nombres e IDs conservados por el informe histórico, no una nueva evaluación de esos proveedores. El JSON enlazado conserva los identificadores completos.

Qué salió bien y qué costó

Frente a M+R, ECHO redujo incorrectas y elevó la precisión de las respuestas emitidas en los cuatro modelos. No creó ningún acierto: su función era aceptar o abstenerse. También perdió respuestas correctas; el F-score bajó en tres modelos y subió en GPT-5.4 mini. Es evidencia de filtrado selectivo en este banco, no de mayor capacidad general ni de ausencia de alucinaciones.

Los controles negativos

En MMLU-Pro se abstuvo casi siempre y el cotejo textual dejó pasar opciones equivocadas. En GSM8K se abstuvo en las 50 preguntas de cada modelo: no podía verificar cálculos con extractos. El corrector era determinista, distinto del juez LLM de SimpleQA; estas cifras no equivalen a un resultado oficial del benchmark.