PIR — INC-2026-0610-001

1 Métricas del Incidente

Error Rate Máximo

78.3%

/api/v2/workflows/execute

Usuarios Afectados

1,200

60% de la base activa

Impacto Económico

7.680€

4.800€/hora × 1,6h

Tiempo Resolución

91m

Detección → Resolución

⏱ Flujo de Respuesta — Hitos de Tiempo

Deploy

09:30

Detección

09:47 (+17m)

SEV1 Declarado

09:52 (+22m)

Root Cause

09:58 (+28m)

Hotfix Deploy

10:30 (+60m)

Estabilizado

10:45 (+75m)

Resuelto

11:18 (+91m)

📉 Evolución de la Tasa de Error — api-workflows

Tasa de error Hotfix v3.1.1 desplegado

2 Timeline del Incidente

🏷 Clasificación Automática — incident_classifier.py · Confianza: 100%

Severidad Detectada

SEV1

Critical Outage

Razón de clasificación

Keywords: timeout, circuit breaker, revenue_impact, enterprise SLA · Usuarios: 60%

Equipo de respuesta recomendado

Backend Engineering Platform Team API Team ML Ops SME

Escalación requerida

● +5min: Incident Commander

● +15min: VP Engineering

● +30min: CTO

● Actualización cada 15min

🔀 Timeline Reconstruido — timeline_reconstructor.py · 17 eventos · 7 fuentes

09:30

CI/CD marta.vidal

Deploy api-workflows v3.1.0 completado. Upgrade LLM Sonnet 4.5→4.6 + axios 1.4→1.7

09:47

Datadog monitoring

🚨 ALERTA: tasa de error /api/v2/workflows/execute supera 70% (actual: 78.3%)

09:48

Datadog monitoring

Circuit breaker OPEN en anthropic-client. Queue depth: 847 requests

09:49

Zendesk lucia.pons

23 tickets de soporte recibidos. 4 clientes enterprise SLA reportan workflows bloqueados.

09:52

Slack carlos.ruiz

SEV1 declarado por Carlos Ruiz. Canal #inc-20260610-workflows creado. Bridge iniciado.

09:55

Logs marta.vidal

Investigación: axios 1.7 cambia manejo de timeouts. Timeout 30s insuficiente para Claude Sonnet 4.6

09:58

Slack dani.morales

✅ Confirmado: Claude Sonnet 4.6 latencia p99 ~45s en prompts largos. Timeout de 30s causa fallo sistémico.

10:00

Statuspage lucia.pons

Status page actualizada: Investigando degradación en motor de workflows

10:02

Slack carlos.ruiz

Escalado a CTO. Revenue en riesgo: 4.800€/hora. 4 clientes SLA enterprise afectados.

10:10

GitHub marta.vidal

Hotfix preparado: rama fix/timeout-llm. Timeout axios aumentado 30s → 90s + retry logic

10:30

CI/CD marta.vidal

Deploy hotfix v3.1.1 completado. Error rate bajando: 78% → 12%

10:45

Datadog monitoring

Error rate: 2.1%. Circuit breaker CLOSED. Sistema estabilizándose.

11:18

Slack carlos.ruiz

✅ Incidente resuelto. Todos los servicios nominales. Error rate: 0.3%. PIR programado 2026-06-12.

3 Análisis de Causa Raíz (PIR)

Causa Raíz Identificada

El upgrade de axios 1.4 → 1.7 en el deploy v3.1.0 cambió el comportamiento de timeout: el valor de 30s configurado en variables de entorno no se aplica correctamente en axios 1.7 sin configuración explícita de axiosInstance. Claude Sonnet 4.6 tiene latencia p99 de ~45s en prompts complejos de workflows, superando el timeout y causando ECONNRESET en cascada que abrió el circuit breaker y bloqueó toda ejecución.

🐟 Diagrama Fishbone (Ishikawa) — pir_generator.py · Método: Fishbone

Tecnología

Comportamiento de timeout no documentado en axios 1.7 vs 1.4

Latencia p99 aumentada en Claude Sonnet 4.6 (~45s vs ~12s en 4.5)

Circuit breaker sin configuración de half-open

Proceso

Sin checklist de cambios de modelo LLM en proceso de deploy

Sin revisión de compatibilidad timeout/latencia en code review

No se actualizó timeout HTTP al cambiar el modelo LLM

Personas

Equipo desconocía el cambio de comportamiento de timeouts en axios 1.7

Sin SME revisando implicaciones de latencia en el PR de upgrade de modelo

Entorno

Staging no simula carga real de producción para tests de latencia LLM

Sin feature flags para rollback rápido del modelo sin re-deploy

Alerta de error rate con umbral al 70% sin warning previo al 50%

❓ Análisis 5 Whys

¿Por qué fallaron los workflows?

Porque las llamadas HTTP a la API de Anthropic daban timeout y el circuit breaker se abrió bloqueando todas las peticiones.

¿Por qué daban timeout las llamadas?

Porque el timeout configurado de 30s era insuficiente para la latencia p99 de ~45s de Claude Sonnet 4.6 en prompts complejos.

¿Por qué no se ajustó el timeout al actualizar el modelo?

Porque no hay checklist de validación de latencia para upgrades de modelo LLM, y axios 1.7 no aplica el timeout de env vars sin configuración explícita de axiosInstance.

¿Por qué el cambio de axios 1.7 pasó sin detectarse?

Porque los tests de integración en staging no validan latencia real bajo carga de producción, y el cambio de comportamiento no estaba documentado en el CHANGELOG de la librería.

¿Por qué no hay tests de latencia en staging?

Causa raíz: La plataforma nunca ha establecido un estándar de validación de rendimiento para dependencias de IA (modelo LLM + cliente HTTP), tratando estos cambios como upgrades de librería ordinarios.

4 Plan de Acción Post-Incidente

Parametrizar timeout HTTP por modelo LLM en config central

📅 17 Jun 2026 👤 marta.vidal Prevención

Tests de latencia p99 por modelo LLM en pipeline CI/CD

📅 20 Jun 2026 👤 dani.morales Detección

Alertas de circuit breaker en canal #alertas-produccion

📅 15 Jun 2026 👤 carlos.ruiz Detección

Feature flags para cambios de modelo/proveedor LLM

📅 30 Jun 2026 👤 marta.vidal Prevención

Runbook: procedimiento de upgrade de modelo LLM

📅 25 Jun 2026 👤 dani.morales Proceso

Resumen

P1 Items

P2 Items

P3 Items

📢 Log de Comunicaciones a Stakeholders

Status Page 10:00 UTC

Estamos investigando una degradación en el motor de ejecución de workflows. Algunos workflows pueden no ejecutarse correctamente. Actualización en 15 minutos.

Slack Exec 10:02 UTC

SEV1 ACTIVO: api-workflows caído. 1.200 usuarios afectados, 4 clientes enterprise SLA. IC: Carlos Ruiz. Bridge activo. ETA investigando. Revenue: 4.800€/h en riesgo.

Status Page 10:20 UTC

Problema de timeout identificado. Aplicando hotfix. Próxima actualización en 15 minutos.

Status Page 11:18 UTC

RESUELTO: El problema en el motor de workflows ha sido resuelto. Todos los sistemas funcionan con normalidad. Publicaremos informe completo en 48 horas.

👥 Equipo de Respuesta

Carlos Ruiz

SRE Lead · Incident Commander

Marta Vidal

Tech Lead Backend · Respuesta técnica

Lucia Pons

CS Manager · Comunicaciones

Dani Morales

ML Ops SME · Análisis LLM

💡 Lecciones Aprendidas

🤖

Los upgrades de modelo LLM requieren el mismo rigor que upgrades de base de datos: validación de rendimiento antes de producción.

📦

Revisar changelogs de dependencias HTTP al cambiar proveedores de IA. axios 1.7 cambia comportamiento de timeout por defecto.

🔌

Circuit breakers deben configurarse con half-open para permitir recuperación automática sin intervención manual.

⚙️

El timeout HTTP debe ser parámetro configurable por entorno y modelo — nunca hardcodeado ni dependiente de vars de entorno implícitas.

💰 Resumen de Impacto de Negocio

847

Workflows fallidos

Tickets de soporte

SLA enterprise violados

7.680€

Impacto económico

Pérdida de datos

✅ Sin pérdida de datos · Sin brecha de seguridad · Clientes notificados proactivamente · PIR programado: 12 Jun 2026

API Workflows — Motor IA Caido por Timeout LLM