Plan de Experimentos A/B — CULTIVA IA Platform Q3 2026

EXP-01 CTA Principal en Hero: "Empezar gratis" vs "Ver demo en 2 minutos" ICE 4.8

Hipótesis If / Then / Because

IF cambiamos el CTA del hero de "Empezar gratis" a "Ver demo en 2 minutos" para visitantes nuevos en desktop

THEN la tasa de click-to-register aumentará en ≥1.5 pp (de 8.2% a ≥9.7%)

BECAUSE ver una demo reduce la percepción de compromiso y activa curiosidad sin presión de compra, alineado con etapa de descubrimiento

Métricas del test

Click-to-register rate (visita → registro) PRIMARIA

Tiempo en página >30s (no rebote por confusión) GUARDIA

Activación a 7 días (no bajar calidad del lead) GUARDIA

Vistas de vídeo de demo DIAGNÓSTICO

Análisis de Potencia (α=0.05, poder=80%)

8.2%

Baseline

9.7%

Target (MDE)

+1.5pp

Efecto mínimo

5.686

por variante

11.372

total muestras

Duración estimada: 15 días a 800 sesiones/día

Puntuación ICE

Impacto

Confianza

Facilidad

ICE Score = (6×7×8)/100 4.8 → MEDIO

EXP-02 Email de Bienvenida: Solo texto vs Video tutorial 90s ICE 5.6 ★

Hipótesis If / Then / Because

IF añadimos un vídeo tutorial de 90s en el email de bienvenida enviado a todos los nuevos registros

THEN la tasa de onboarding completado (≥1 integración conectada) aumentará ≥5 pp (de 34% a ≥39%)

BECAUSE el vídeo reduce la fricción cognitiva de entender la UI en la etapa crítica de primeras 24h; usuarios que ven demos tienen 2.3x más retención (benchmark SaaS 2025)

Métricas del test

Onboarding completado en 48h (≥1 integración) PRIMARIA

Tasa de unsubscribe del email (<0.5%) GUARDIA

Open rate (no debe caer vs control) GUARDIA

% reproducción del vídeo (>50s) DIAGNÓSTICO

Análisis de Potencia (α=0.05, poder=80%)

34.0%

Baseline

39.0%

Target (MDE)

+5pp

Efecto mínimo

1.456

por variante

2.912

total muestras

Duración estimada: 4 días a 800 registros/día · Prioridad ALTA

Puntuación ICE

Impacto

Confianza

Facilidad

ICE Score = (8×7×10)/100 5.6 → ALTO ★

EXP-03 Pop-up de Activación en Día 3 vs Sin intervención ICE 4.2

Hipótesis If / Then / Because

IF mostramos un pop-up contextual con guía paso a paso en el día 3 a usuarios registrados que no han ejecutado ningún workflow

THEN la tasa de activación a 7 días aumentará ≥4 pp (de 22% a ≥26%)

BECAUSE el día 3 marca el pico de olvido post-registro; un nudge contextual en el momento de mayor necesidad reduce la decisión de abandonar

Métricas del test

Activación a 7 días (1er workflow ejecutado) PRIMARIA

Tasa de cierre inmediata del pop-up (<40%) GUARDIA

Churn a 30 días (no acelerar abandono) GUARDIA

Pasos del guía completados (1, 2, 3…) DIAGNÓSTICO

Análisis de Potencia (α=0.05, poder=80%)

22.0%

Baseline

26.0%

Target (MDE)

+4pp

Efecto mínimo

1.790

por variante

3.580

total muestras

Duración estimada: 5 días a 800 sesiones/día · Lanzar tras EXP-01

Puntuación ICE

Impacto

Confianza

Facilidad

ICE Score = (7×6×10)/100 4.2 → MEDIO

#	Experimento	Métrica Primaria	MDE	N Total	Duración	ICE	Estado
1	EXP-02 · Email + Video Tutorial	Onboarding completado (48h)	+5 pp (34%→39%)	2.912	4 días	5.6	LANZAR YA
2	EXP-01 · CTA Hero rediseñado	Click-to-register rate	+1.5 pp (8.2%→9.7%)	11.372	15 días	4.8	PARALELO EXP-02
3	EXP-03 · Pop-up activación día 3	Activación a 7 días	+4 pp (22%→26%)	3.580	5 días	4.2	TRAS EXP-01

Checklist pre-lanzamiento (global)

✓ Hipótesis escritas en formato If/Then/Because con mecanismo causal

✓ Métrica primaria única por experimento definida antes del test

✓ Métricas de guardia especificadas (protección de calidad)

✓ Tamaño muestral calculado con potencia 80%, α=0.05

✓ Duración fija establecida antes del lanzamiento

⚠ Verificar ausencia de conflicto entre EXP-01 y EXP-02 en usuarios que se registran (contaminación)

✓ Instrumentación de eventos auditada y sin drift en últimos 7 días

✓ Sample Ratio Mismatch (SRM) test programado para día 1

Reglas de parada y decisión

✓ NO peeking: solo leer resultados al alcanzar N_total o duración fija

✓ Parada anticipada SOLO si guardrail cae >10% (ej. churn dispara)

✓ Decidir con IC95% + magnitud del efecto, no solo p-value

⚠ Si IC cruza el cero: resultado inconcluso, NO implementar variante

✓ Investigar efectos de novedad en primeras 48h (segmento por fecha de registro)

✓ Análisis de heterogeneidad por segmento (plan, industria, tamaño cuenta) post-test

✗ PROHIBIDO: cambiar targeting o implementación durante el test activo

✗ PROHIBIDO: declarar éxito solo por p<0.05 sin efecto >= MDE

Plan de Experimentos A/B — Q3 2026

Checklist pre-lanzamiento (global)

Reglas de parada y decisión