Arnés de Evaluación EDD — NutriFlow Agente IA v1.4.0

🔵

Evals de Capacidad

content-generation-social

Generación de posts Instagram/LinkedIn desde fichas anonimizadas

✓ 7/7

pass@1 71%

pass@3 100%

pass^3 86%

latencia p50 1.4s

grader model

✅ Genera post Instagram con emoji, hashtags y CTA relevante

pass@1

✅ Post no contiene datos identificativos del paciente (RGPD)

pass@1

✅ Tone of voice: motivador pero clínico — score modelo ≥ 4/5

pass@2

✅ LinkedIn: formato párrafo corto + gancho inicial en primera línea

pass@1

✅ Longitud Instagram ≤ 220 chars + hashtags separados

pass@1

✅ Adapta receta a perfil dietético (vegano / celiaquía / diabético)

pass@3

✅ Genera variación A/B semánticamente distinta en mismo prompt

pass@1

followup-email

Emails de seguimiento nutricional personalizados (7/14/30 días)

✓ 8/8

pass@1 88%

pass@3 100%

pass^3 88%

latencia p50 1.8s

grader rule model

✅ Subject line personalizada con nombre del paciente (regex: /Hola \w+,/)

pass@1

✅ Incluye referencia al objetivo del paciente del mes anterior

pass@1

✅ Contiene enlace a dashboard NutriFlow (placeholder {{dashboard_url}})

pass@1

✅ Tone médico + empático — score modelo ≥ 4/5

pass@2

✅ Sin lenguaje diagnóstico ni afirmaciones terapéuticas (compliance)

pass@1

✅ Longitud 150–300 palabras (wc -w check)

pass@1

✅ Variante 7d / 14d / 30d semánticamente diferenciadas

pass@1

✅ HTML valido — no broken tags (DOM parse check)

pass@1

progress-report

Informes de progreso semanales para clínicos (PDF-ready)

✓ 7/8 1 skip

pass@1 86%

pass@3 100%

pass^3 71%

latencia p50 2.9s

grader code human

✅ Secciones obligatorias presentes (resumen, métricas, recomendaciones)

pass@1

✅ Tablas de datos correctamente formateadas en Markdown

pass@1

✅ Tendencias expresadas en delta % respecto semana anterior

pass@2

✅ Sin recomendaciones fuera de rango nutricional aprobado

pass@1

✅ Firma y disclaimer clínico presentes al final

pass@1

✅ Idioma consistente (es-ES, sin anglicismos técnicos no explicados)

pass@1

✅ Adjuntos inline (base64 chart PNG) sin superar 100kb

pass@1

⏭️ Validación manual por dietista certificado — SKIPPED (pending)

skip

🔮

Evals de Regresión — Baseline v1.3.0

12/12 pass^3 ✓

auth-flow

baseline: sha-e25f2d4

pass^3

JWT validationPASS

Refresh token flowPASS

Role-based accessPASS

data-anonymization

baseline: sha-e25f2d4

pass^3

PII strippingPASS

Pseudonymization checkPASS

RGPD audit logPASS

content-schema

baseline: sha-e25f2d4

pass^3

JSON output schema validPASS

Mandatory fields presentPASS

No hallucinated fieldsPASS

rate-limits

baseline: sha-e25f2d4

pass^3

Retry logic (429)PASS

Exponential backoffPASS

Circuit breakerPASS

⚡

Rendimiento y Coste — v1.3.0 vs. v1.4.0

Latencia p50 (segundos)

social post

1.4s

followup mail

1.8s

progress rpt.

2.9s

Coste estimado €/1000 requests

v1.3.0

€1.35

v1.4.0

€0.84

ahorro

−38%

pass@k Comparativa

pass@1 v1.3

72%

pass@1 v1.4

82%

pass@3 v1.4

97%

Artefactos generados — .claude/evals/

# Estructura de artefactos de esta suite
.claude/
  evals/
    content-generation-social.md   # definición de eval
    content-generation-social.log  # historial: 47 runs, último 2026-06-18
    followup-email.md
    followup-email.log
    progress-report.md
    progress-report.log
    baseline.json                   # sha-e25f2d4 (v1.3.0)
docs/
  releases/
    v1.4.0/
      eval-summary.md               # SHIP IT ✓

# Graders automáticos en CI
npm run eval  # ejecuta suite completa → exit 0 si pass@3 >= 0.90
npm run eval:regression  # solo regresión → exit 0 si pass^3 = 1.00
  

Verificación de Anti-Patrones EDD

🎯

Overfitting a ejemplos conocidos

Suite usa 3 inputs distintos por eval; rotación de fichas de paciente en cada run

OK

🛣️

Medir solo happy path

8 evals de edge-case cubiertas: pacientes con múltiples alergias, datos incompletos, idioma mixto

OK

💸

Ignorar coste y latencia al optimizar pass rate

Monitorizado: −38% coste, −22% latencia p95. Sin degradación al perseguir pass@3.

OK

🎲

Graders no deterministas en release gates

Regresión: solo code graders y rule graders. Model graders exclusivos para capacidad no crítica.

OK

🔒

Automatizar revisión de seguridad

PII/RGPD tiene grader humano adicional. Dietista certificado pendiente (SKIP activo).

PENDIENTE