Generador y evaluador: por qué un agente nunca debe revisar su propio trabajo

El problemaLe pides a la IA que revise su propio trabajo, siempre dice que está bien, y los errores los encuentra tu cliente.

Jueves, 7:30 de la tarde. Una gerente de finanzas termina el reporte mensual para el consejo con ayuda de un agente de IA. Antes de enviarlo, escribe: "Revisa el reporte y dime si hay errores". El agente responde en segundos: "El reporte es consistente y está listo para enviarse". Lo envía.

A la mañana siguiente, un consejero pregunta por qué el margen de una línea de negocio subió tanto. Respuesta: el agente había sumado una cifra en dólares con otra en moneda local. Al revisar, cometió exactamente el mismo error que al escribir. Esto no es un fallo raro. Es lo que pasa cuando no se separa generador y evaluador.

Por qué un agente no puede revisarse a sí mismo

Cuando le pides a un modelo que revise lo que acaba de producir, le pides que encuentre errores en un razonamiento que le pareció correcto hace un minuto. Tiende a confirmarlo. No por mala fe, sino por la misma razón por la que una persona no detecta sus propias erratas: lee lo que quiso decir, no lo que dijo.

En las empresas esto se resolvió hace mucho: quien prepara un pago no es quien lo autoriza, quien redacta un contrato no es quien lo aprueba. La separación de funciones existe porque funciona. Los agentes necesitan el mismo principio.

El patrón generador y evaluador, explicado

Anthropic publicó en marzo de 2026 una guía sobre diseño de harness para agentes de larga duración. En ella describe roles separados de planificador, generador y evaluador, con puertas de verificación entre ellos. La idea central es simple:

• El generador produce el trabajo: un reporte, una propuesta, un texto, un análisis.
• El evaluador lo revisa contra criterios explícitos y verificables, sin haber participado en producirlo.
• Si el evaluador encuentra problemas, devuelve el trabajo con observaciones concretas, no con un "mejóralo".
• El ciclo se repite hasta que el trabajo pasa la puerta, o hasta un tope de intentos, después del cual se escala a una persona.

Thoughtworks llama "sensores" a lo que el harness le da al agente para que se corrija solo. El evaluador es uno de los sensores más potentes: convierte un "creo que está bien" en una verificación.

Qué revisa un buen evaluador

Un evaluador no debería opinar en abstracto. Debe tener una lista de criterios, por ejemplo:

1. ¿Todas las cifras están en la misma moneda y cuadran con la fuente?
2. ¿Cada afirmación tiene un dato de respaldo en el brain de la empresa?
3. ¿Se respetan las reglas del negocio, como descuentos autorizados o plazos legales?
4. ¿El tono y el formato cumplen la guía de la marca?
5. ¿Aporta algo más allá de lo obvio?

Esa lista es la base de las evals, las pruebas que miden la calidad del agente de forma continua. Lo desarrollamos en evals para agentes en producción.

Dos refuerzos: auditor cruzado y agente base

Un segundo modelo, de otro proveedor, como auditor cruzado

Si el generador y el evaluador son el mismo modelo, comparten puntos ciegos. Lo que a uno le pareció razonable, al otro también le parecerá. Por eso, en tareas de alto impacto, conviene que el evaluador sea un modelo de otro proveedor. Si el generador usa un modelo de OpenAI, el auditor puede usar Claude o Gemini, o al revés.

No se trata de que un modelo sea mejor que otro. Se trata de que razonan distinto. Cuando dos modelos entrenados de forma diferente coinciden en que algo es correcto, la confianza sube. Cuando discrepan, esa discrepancia es exactamente el punto que una persona debe mirar.

Un agente base que escribe lo obvio

El segundo refuerzo es menos conocido y muy útil. Antes de que el generador trabaje, un agente base produce la versión obvia: la respuesta que daría cualquiera con información pública y sin conocer tu negocio.

Esa versión obvia sirve de piso. El evaluador compara el trabajo del generador contra ella y lo rechaza si no la supera. Así nadie, ni el agente ni tu equipo, pierde tiempo repitiendo lo que ya se sabe. En una propuesta comercial, por ejemplo, el agente base escribe "ofrecemos calidad, experiencia y buen servicio". El generador está obligado a ir más allá: casos concretos del sector del cliente, el problema específico que mencionó en la reunión, la condición comercial que lo diferencia. Lo aplicamos en propuestas comerciales en minutos.

Ejemplo ilustrativo: el reporte del consejo, con el patrón completo

Volvamos al reporte del inicio.

Antes: un solo agente redacta y "revisa". El error de moneda pasa. La gerente lo descubre frente al consejo.

Después:

1. El agente base escribe el resumen obvio: "las ventas crecieron, los costos se mantuvieron".
2. El generador produce el reporte con las cifras del brain, explicando las causas de cada variación.
3. El evaluador, con un modelo de otro proveedor, revisa contra la lista: detecta que una cifra está en dólares y otra en moneda local, y que el párrafo sobre costos no supera la versión obvia.
4. El generador corrige ambas cosas con las observaciones recibidas.
5. El reporte pasa la puerta y llega a la gerente, que lo revisa y firma antes de que salga al consejo.

Nada de esto requirió un modelo más caro ni más inteligente. Requirió separar funciones, escribir criterios claros y poner una puerta antes de la firma. Es organización, no magia.

La gerente no dedica su tarde a buscar erratas. La dedica a preguntarse si las conclusiones son las correctas, que es su verdadero trabajo. La firma humana final es la última puerta; explicamos cómo diseñarla en aprobación humana por rol.

Errores comunes

1. Pedir "revisa tu trabajo" en la misma conversación. Es el mismo agente con el mismo contexto: no es una revisión.
2. Criterios vagos. "Asegúrate de que esté bien" no es un criterio. "Todas las cifras en la misma moneda" sí lo es.
3. Ciclos sin tope. Sin un número máximo de intentos, generador y evaluador pueden discutir indefinidamente y disparar el costo.
4. Eliminar la firma humana porque "ya hay evaluador". El evaluador reduce errores; la responsabilidad sigue siendo de una persona.

Qué hacer el lunes

Identifica un entregable que hoy produce la IA y que alguien envía sin una revisión independiente. Escribe cinco criterios verificables para ese entregable. Con esa lista ya tienes el corazón de un evaluador, aunque al principio lo aplique una persona.

En Addabra este patrón viene integrado en nuestro harness: separamos generación de evaluación, usamos modelos de distintos proveedores como auditores cruzados en las tareas críticas y medimos todo contra una versión base. Así lo que llega a tu firma ya pasó por varias puertas.

harness engineeringcalidadevaluación