Agentes IA · Verificación Adversarial

Santa Method — Doble Revisor

NexusFlow · Email lanzamiento Smart Routing v2 · 12.000 destinatarios

Cliente
NexusFlow SaaS
Entregable
Email · Smart Routing v2
Riesgo
Alto · 12K envíos
Max. iteraciones
3 / convergencia en 2
Generador A
CopyGen
Revisor B + C
Paralelo
Puerta
NAUGHTY ×1
Fix Agent
Iteración 2
Revisor B' + C'
Fresh agents
NICE
SHIP
1
Fase 1 — Make a List (Generador A)
El agente CopyGen produce el email de lanzamiento sin restricciones adicionales
⚠ Errores marcados en rojo para referencia del revisor
2
Fase 2 — Check It Twice (Revisores B + C en paralelo)
Iteración 1 · Contexto completamente aislado · Misma rúbrica, agentes independientes
B
Revisor B — Especialista Contenido
Tono de marca · Completeness · Precisión factual
PASS
Voz de marca
Tono profesional-cercano mantenido. Sin jerga excesiva.
FAIL
Precisión factual
«73% en 7 días» — no existe benchmark publicado. Cifra no verificable externamente.
FAIL
Sin alucinaciones
«Compatible con Linear» — Linear no tiene integración nativa en NexusFlow según docs actuales.
FAIL
Completeness — CTA
El enlace CTA apunta a /app/smart-routing-v2-beta — ruta beta no publicada en producción.
PASS
Asunto A/B definido
Dos variantes presentes. Longitud adecuada.
PASS
Consistencia interna
El umbral de 500 tickets se menciona consistentemente en cuerpo y P.D.
✕ NAUGHTY — 3 criterios fallidos
C
Revisor C — Legal / Compliance
RGPD · Claims · Desuscripción · Riesgo reputacional
FAIL
Precisión factual
«73% de reducción» es una promesa de resultado sin disclaimer. Riesgo de publicidad engañosa (Ley 34/1988).
PASS
Compliance RGPD
No se promete tratamiento de datos de terceros sin base legal. Correcto.
FAIL
Completeness — Unsubscribe
Ausencia total de enlace de baja RGPD/CAN-SPAM. Bloqueo crítico para envío masivo.
PASS
Terminología aprobada
Sin términos restringidos. «Motor de IA» aceptable bajo política interna.
FAIL
Sin alucinaciones
Linear como integración nativa: no documentado. Riesgo de reclamación comercial por parte de Linear.
PASS
Voz de marca
Revisión fuera de scope, no evaluado por este revisor.
✕ NAUGHTY — 3 criterios fallidos
3
Fase 3 — Puerta de Veredicto (Iteración 1)
B NAUGHTY AND C NAUGHTY → Bloqueo. Merge de issues deduplicados.
🚫
NAUGHTY
Ambos revisores bloquearon. El email NO se envía. Iteración 2 iniciada.
Issues críticos (merge deduplicado — 4 bloqueantes)
«73% de reducción en 7 días» debe eliminarse o reemplazarse por cifra verificable con fuente, o añadir disclaimer explícito («en promedio en clientes piloto»).
Linear debe eliminarse de la lista de integraciones o marcarse como «próximamente» si no está en producción.
Enlace CTA debe apuntar a /app/smart-routing — ruta de producción, no la beta.
Añadir pie de email con enlace de desuscripción obligatorio (RGPD Art. 7 + LSSi Art. 22).
Sugerencias no bloqueantes (2)
El P.D. sobre el umbral de 500 tickets puede generar fricción; moverlo a FAQ de onboarding.
Añadir número de clientes beta como prueba social («+340 equipos ya en piloto»).
4
Fase 4 — Fix Until Nice (Agente corrector · Iteración 2)
Se corrigen SOLO los issues críticos. Sin refactoring adicional. Agentes B' y C' son fresh (sin memoria del round 1).
Diff aplicado — 4 cambios
Eliminado
Según nuestros datos internos, los equipos que usan Smart Routing v2 reducen el tiempo de resolución un 73% en los primeros 7 días.
Reemplazado
En nuestro programa piloto con 340 equipos, el tiempo medio de resolución cayó un 47% en las primeras 4 semanas (datos internos, n=340, Q1 2026).
Eliminado
compatible con Salesforce, HubSpot, Zendesk, Intercom y Linear
Reemplazado
compatible con Salesforce, HubSpot, Zendesk e Intercom (Linear: próximamente)
Eliminado
Activa Smart Routing v2 → [/app/smart-routing-v2-beta]
Reemplazado
Activa Smart Routing v2 → [/app/smart-routing]
Añadido — pie de email
Recibes este email porque formas parte de la base de clientes NexusFlow. Para cancelar tu suscripción a comunicaciones de producto, haz clic aquí: [desuscribirse]. NexusFlow Technologies S.L. · Paseo de la Castellana 200, 28046 Madrid.
B'
Revisor B' — Fresh Agent Round 2
Sin contexto del round anterior
PASS
Precisión factual
«47% en 4 semanas (n=340)» — cifra con fuente y muestra. Aceptable.
PASS
Sin alucinaciones
Linear marcado como «próximamente». Integraciones actuales verificadas.
PASS
Completeness — CTA
Enlace /app/smart-routing válido en producción.
PASS
Voz de marca
Tono correcto. Preview text y asuntos A/B presentes.
PASS
Consistencia interna
Cifras coherentes en todo el cuerpo.
PASS
Asunto A/B definido
Variantes adecuadas. ✓
✓ PASS — 6/6 criterios superados
C'
Revisor C' — Fresh Agent Round 2
Sin contexto del round anterior
PASS
Precisión factual
Cifra piloto con disclaimer (n=340). No es promesa de resultado garantizado.
PASS
Compliance RGPD
Sin tratamiento ilícito de datos. ✓
PASS
Completeness — Unsubscribe
Enlace de baja RGPD + dirección física presentes. Cumple LSSi Art. 22.
PASS
Sin alucinaciones
Linear: «próximamente» — no se afirma disponibilidad actual.
PASS
Terminología aprobada
Sin términos restringidos. ✓
PASS
Riesgo reputacional
No hay claims que puedan derivar en reclamación comercial.
✓ PASS — 6/6 criterios superados
Puerta de Veredicto Final — NICE · SHIP
B' PASS AND C' PASS → Convergencia alcanzada en iteración 2. Email aprobado para envío.
🎄
NICE — SHIP
Ambos revisores independientes aprueban. Email listo para envío a 12.000 destinatarios.
Email final verificado
Métricas del ciclo de verificación
Santa Method KPIs para este entregable
2
Iteraciones
100%
Acuerdo revisores
4
Issues bloqueantes
0
Escalado a humano
~2.4×
Coste vs. generación
Análisis de fallos detectados: De 4 bloqueantes, 2 eran de alucinación factual (cifra sin fuente + integración inexistente), 1 de CTA roto y 1 de compliance RGPD. El patrón más frecuente es hallucination — consistente con output de LLM en contenido de marketing sin grounding externo. Recomendación: añadir step de grounding con datos reales antes de generación en pipelines de alto volumen.