Alertas Activas
3
↑ 2 vs. ayer
MTTA (Ack)
4.2m
↓ 38% vs. mes pasado
MTTR (Resolucion)
18m
↓ 55% vs. mes pasado
En Guardia Ahora
Marta
Rot. hasta dom 08:59
Alertas Activas
| Prioridad | Alerta | Etiquetas | Estado | Asignado | Tiempo |
|---|---|---|---|---|---|
| P1 |
PaymentService: Error rate > 5%
Tasa actual: 8.3% — endpoints /api/charge, /api/refund
|
production payment critical | Ack |
MS
Marta Solis
|
hace 7 min |
| P1 |
Database CPU > 90% — postgres-primary-eu
Media 5 min: 93.7% — conexiones activas: 342/400
|
production database k8s-eu-1 | Abierta |
MS
Marta Solis
|
hace 2 min |
| P2 |
Pod CrashLoopBackOff — payments-worker-8f9c4
Namespace: payments-prod — Reinicios: 6 en 10 min
|
payment kubernetes production | Abierta |
TR
Tomas Ruiz
|
hace 15 min |
| P4 |
API Latencia p99 > 2s — payment-gateway
p99 actual: 2.34s (threshold: 2s)
|
payment latency | Cerrada |
DV
Diego Vega
|
hace 1 h |
Guardia On-Call — Semana 24
Rotacion semanal
Lun · 09-18h
Mar · 09-18h
Mie · 09-18h
Jue · 09-18h
Vie · 09-18h
Sab · 24h
Dom · 24h
Politica de Escalacion — P1 Critico
Platform Engineering
1
Alerta recibida — 0 min
Notificacion al guardia on-call
Push + llamada al ingeniero de turno del schedule "Platform Primary On-Call". Si no ack en 5 min, escala.
2
Si no ack — +5 min
Escalacion al Team Lead
Llamada directa a Marta Solis (TL). Regla "if-not-acked". Incluye contexto y runbook.
3
Si no ack — +15 min
Escalacion al equipo completo
Todos los miembros de Platform Engineering reciben alerta simultanea. Modo "all". Repeticion cada 10 min (max 3x).
Reglas de Enrutamiento
1
Alertas Criticas Produccion
→
Platform Critical Esc.
Escalacion — Platform Eng
2
Pagos y Transacciones
→
Payments On-Call
Horario — Payments API
3
Kubernetes y Base de Datos
→
Platform Primary OC
Horario — Platform Eng
★
Resto de alertas (catch-all)
→
Platform Eng (equipo)
Equipo directo
Equipos Configurados
Platform Engineering
MS
Marta Solis
marta@novapay.io
TR
Tomas Ruiz
tomas@novapay.io
NC
Nina Chen
nina@novapay.io
Payments API
DV
Diego Vega
diego@novapay.io
SM
Sara Moreno
sara@novapay.io
Integracion Prometheus Alertmanager
Activa
# alertmanager.yml — Receptor Opsgenie para NovaPay
receivers:
- name: 'opsgenie-critical'
opsgenie_configs:
- api_key: '<OG_API_KEY>'
message: '{{ .CommonLabels.alertname }}: {{ .CommonAnnotations.summary }}'
description: '{{ .CommonAnnotations.description }}'
priority: |
{{ if eq .CommonLabels.severity "critical" }}P1
{{ else if eq .CommonLabels.severity "warning" }}P3
{{ else }}P5{{ end }}
tags: '{{ .CommonLabels.environment }},{{ .CommonLabels.service }}'
entity: '{{ .CommonLabels.service }}'
source: 'prometheus'
responders:
- name: 'Platform Engineering'
type: 'team'
details:
alertname: '{{ .CommonLabels.alertname }}'
cluster: '{{ .CommonLabels.cluster }}'
runbook: 'https://wiki.novapay.io/runbooks/{{ .CommonLabels.alertname }}'
route:
group_by: ['alertname', 'service', 'environment']
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
receiver: 'opsgenie-critical'
routes:
- match: { severity: critical }
receiver: 'opsgenie-critical'
repeat_interval: 30m # re-notifica cada 30 min si sigue abierta