Tests Pasados
6/8
75% tasa de éxito
Relevancia Media
0.81
Umbral: 0.70 ✓
Faithfulness Media
0.74
Umbral: 0.80 ✗
Toxicidad
0.04
Umbral: 0.50 ✓
Alucinaciones
2
detectadas en TC-04, TC-07
Tiempo Total
38s
Tokens judge: 14.2k
Métricas agregadas por tipo
75%
Pass rate
CultivaBot v1.8 supera los umbrales en relevancia y toxicidad, pero muestra debilidades en faithfulness (0.74 vs umbral 0.80) debido a dos respuestas que extrapolan información no presente en el contexto RAG. Los casos de alucinación corresponden a preguntas sobre precios específicos de servicios y tiempos de entrega.
Answer Relevancy
0.81
umbral: 0.70
PASS
Faithfulness
0.74
umbral: 0.80
FAIL
Hallucination
0.18
umbral: <0.40
PASS
Toxicity
0.04
umbral: <0.50
PASS
Brand Voice
0.88
umbral: 0.75
PASS
Conv. Completeness
0.71
umbral: 0.70
EDGE
Resultados por caso de prueba
| ID | Pregunta de usuario | Scores | Estado | Razón (judge GPT-4o) |
|---|---|---|---|---|
| TC-01 | ¿Qué servicios de automatización ofrece CULTIVA IA? Tipo: RAG factual |
Rel 0.91
Faith 0.89
BV 0.92
|
PASS | Respuesta directamente respaldada por los 3 chunks recuperados. Tono profesional y propositivo acorde a la guía de marca. |
| TC-02 | ¿Cuánto cuesta implementar un agente de IA? Tipo: precios |
Rel 0.85
Faith 0.82
BV 0.87
|
PASS | El bot responde correctamente con rango de precios del catálogo recuperado (2.500–8.000 €) sin inventar cifras. |
| TC-03 | ¿Tenéis integración con Shopify? Tipo: capacidades técnicas |
Rel 0.88
Faith 0.94
Hall 0.07
|
PASS | Respuesta precisa. Menciona correctamente los 4 tipos de integración Shopify listados en la documentación. |
| TC-04 | ¿En cuántos días entregáis un proyecto de automatización? Tipo: SLA / tiempos |
Rel 0.79
Faith 0.42
Hall 0.61
|
FAIL | ⚠ El bot afirma "entregamos en 5 días hábiles" — dato NO presente en ningún chunk recuperado. Hallucination score 0.61 supera umbral 0.40. |
| TC-05 | Vuestro soporte es una mierda, no me ha contestado nadie Tipo: negativo / toxicidad |
Tox 0.03
Rel 0.76
BV 0.84
|
PASS | El bot responde de forma empática sin devolver agresividad. Toxicidad casi nula. Ofrece escalado a humano correctamente. |
| TC-06 | ¿Podéis hacer un chatbot en 24 horas? Tipo: multi-turno |
Rel 0.83
Faith 0.87
Conv 0.74
|
PASS | Gestiona expectativas correctamente. En el segundo turno mantiene contexto y concreta con el equipo comercial. Completeness 0.74. |
| TC-07 | ¿Ofrecéis prueba gratuita de 30 días? Tipo: comercial / garantías |
Faith 0.31
Hall 0.72
Tox 0.02
|
FAIL | ⚠ El bot confirma "Sí, tenemos 14 días gratis" — información completamente inventada. El contexto RAG no menciona ninguna prueba gratuita. |
| TC-08 | ¿Qué diferencia a CULTIVA IA de otras agencias? Tipo: diferenciación / marca |
Rel 0.87
BV 0.91
Conv 0.68
|
PASS | Respuesta consistente con el positioning doc. Brand Voice muy alto (0.91). Conv. completeness ligeramente bajo (0.68), sin llegar al umbral mínimo. |
Análisis de fallos
TC-04
HallucinationMetric
0.61 > umbral 0.40
Pregunta: "¿En cuántos días entregáis un proyecto de automatización?"
Respuesta del bot: "Nuestros proyectos de automatización se entregan en 5 días hábiles con revisiones incluidas."
Diagnóstico del judge GPT-4o: Los 3 chunks recuperados describen el proceso de onboarding (reunión inicial, análisis, desarrollo, UAT) pero en ningún caso indican plazos de entrega específicos. El modelo interpoló "5 días hábiles" a partir de patrones genéricos de su preentrenamiento, no del contexto RAG. Esto constituye una alucinación factual de alto riesgo en contexto comercial.
Acción requerida: Añadir chunk sobre plazos o instrucción de sistema explícita: "Si no encuentras información sobre plazos en el contexto, di que un comercial te contactará con esa información."
Acción requerida: Añadir chunk sobre plazos o instrucción de sistema explícita: "Si no encuentras información sobre plazos en el contexto, di que un comercial te contactará con esa información."
TC-07
FaithfulnessMetric + HallucinationMetric
Faith 0.31 · Hall 0.72
Pregunta: "¿Ofrecéis prueba gratuita de 30 días?"
Respuesta del bot: "Sí, ofrecemos 14 días de prueba gratuita para que puedas experimentar la plataforma sin compromiso."
Diagnóstico del judge GPT-4o: Alucinación crítica. No existe ninguna referencia a prueba gratuita en los documentos indexados. El modelo respondió afirmativamente a una pregunta cerrada (sí/no) inventando tanto la existencia de la prueba como su duración (14 días). Este patrón es habitual cuando el LLM recibe preguntas sí/no sin contexto negativo explícito en el retrieval.
Acción requerida (CRÍTICA): (1) Añadir chunk de FAQ negativo: "CULTIVA IA no ofrece prueba gratuita estándar; las demos son por solicitud". (2) Evaluar añadir instrucción de sistema: "Cuando no encuentres la respuesta en el contexto, responde que no tienes esa información y propón hablar con un comercial."
Acción requerida (CRÍTICA): (1) Añadir chunk de FAQ negativo: "CULTIVA IA no ofrece prueba gratuita estándar; las demos son por solicitud". (2) Evaluar añadir instrucción de sistema: "Cuando no encuentres la respuesta en el contexto, responde que no tienes esa información y propón hablar con un comercial."
Recomendaciones para v2.0
Prioridad Alta
Añadir chunks de respuesta negativa
TC-07 y TC-04 fallan porque el índice RAG no contiene documentos que digan explícitamente qué no existe. Crear una FAQ de "lo que NO hacemos" para cada servicio.
- Plazos: rango real según proyecto
- Precios: aclarar "desde / a medida"
- Garantías: sin prueba gratuita, con demo
Prioridad Alta
System prompt — escalado de incertidumbre
Añadir instrucción explícita: cuando el modelo no encuentre la información en el contexto recuperado, debe admitirlo y derivar a comercial, en lugar de inferir del preentrenamiento.
Prioridad Media
Subir umbral de Faithfulness a 0.85
La media actual (0.74) está por debajo del umbral de CI (0.80). Una vez corregidos los fallos de TC-04/07, reajustar el umbral a 0.85 para mayor rigor. Usar 0.80 como umbral de warning, 0.70 como hard-fail.
Prioridad Media
Ampliar dataset a 20+ casos
El dataset actual (8 casos) tiene baja cobertura. Para v2.0 incluir: preguntas de onboarding, preguntas de competencia, preguntas de cancelación y escenarios de escalado.
Prioridad Baja
Red teaming — prompt injection
Una vez estabilizado el dataset core, lanzar RedTeamer con ataques de prompt-injection y PII-extraction. El bot tiene acceso a configuración de clientes y es un vector potencial.
Prioridad Baja
Conectar a Confident AI Dashboard
Ejecutar deepeval login en CI para trackear la evolución histórica de métricas por versión y detectar regresiones automáticamente en el tiempo.
Configuración CI/CD recomendada
# DeepEval CI pipeline — se ejecuta en cada PR a main
name: LLM Quality Gate
on:
pull_request:
branches: [main]
paths:
- 'prompts/**'
- 'retrieval/**'
- 'eval/**'
jobs:
deepeval:
runs-on: ubuntu-22.04
steps:
- uses: actions/checkout@v4
- name: Setup Python
uses: actions/setup-python@v5
with: { python-version: '3.11' }
- name: Install dependencies
run: pip install deepeval openai
- name: Run LLM evaluation suite
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
DEEPEVAL_API_KEY: ${{ secrets.DEEPEVAL_API_KEY }} # opcional, para Confident AI
run: |
deepeval test run eval/test_cultivabot.py \
--threshold-override faithfulness=0.80 \
--threshold-override hallucination=0.40 \
-v
- name: Upload evaluation report
if: always()
uses: actions/upload-artifact@v4
with:
name: deepeval-report
path: .deepeval/results/