TradeFlowAI — Análisis de Latencia p95/p99

P99 End-to-End (actual)

3.312 ms

Pico 08:00–10:00 UTC

→ Target: < 800 ms

Frescura Orderbook (max)

4.1 s

Umbral aceptable: ≤ 500 ms

→ Target: ≤ 300 ms

Throughput Workers (pico)

30%

Caída por backpressure Redis

→ Target: > 90 %

Mapa del Hot Path — Tick → Estado Visible

Provider WS

p99 310 ms

→

Ingest Worker

p99 390 ms ⚠

→

Redis Cache

p99 22 ms

→

API Gateway

p99 620 ms

→

ML Inference

p99 1.150 ms ⚠

→

Browser Render

p99 820 ms ⚠

→

Estado Visible

p99 ~3.312 ms

Segmentos críticos: ML Inference (1.150 ms), Browser Render (820 ms), Ingest Worker (390 ms), API Gateway SSE (620 ms). El hot path suma 3× el SLA. Foco en ML y render primero.

Latencia por Segmento (ms)

Segmento	p50	p95	p99	Estado
Provider API ws	48	120	310	OK
Ingest Worker → Redis	12	45	390	CRÍTICO
Redis → API Gateway	3	8	22	OK
API Gateway → SSE	35	180	620	ALERTA
ML Model Inference	90	340	1.150	CRÍTICO
Browser Render (React)	55	290	820	CRÍTICO
End-to-End	243	983	3.312	SLA ROTO

Contribución p99 al Total

ML Inference

1.150 ms

Browser Render

820 ms

API Gateway SSE

620 ms

Ingest Worker

390 ms

Provider WS

310 ms

Redis

22 ms

Regla 80/20: ML Inference + Browser Render suman el 59 % de la latencia p99. Resolver estos 2 segmentos dejaría el sistema en ~1.342 ms p99 antes de otras optimizaciones.

Plan de Optimización — Orden de Impacto

1

Eliminar cold-start del modelo ML — Warm Pool + Pre-warming

El cold-start de 1.2 s del pod K8s GPU es el mayor offender. Mantener 2 réplicas siempre calientes con HPA mínimo = 2. Añadir readiness probe con warmup request en el arranque. Para señales asíncronas, precalcular cada 200 ms y cachear en Redis con TTL 500 ms.
HPA minReplicas: 2 · Redis HSET signal:{symbol} · TTL 500ms

−1.050 ms p99
2

Cache de señales ML con freshness tag — separar hot path de inference

El browser NO debe esperar inference en tiempo real. Servir desde caché Redis con X-Signal-Age header. Inference corre en background asíncrono; si la caché tiene < 500 ms de edad, se sirve directamente. Añadir canary de stale-hit-rate: alertar si > 5 % de hits tienen age > 1 s.
GET signal:{symbol} → age_ms check → serve or background-refresh

−800 ms p99
3

React render — virtualizar tabla de cotizaciones + React.memo en señales

El p99 de 820 ms en browser indica re-renders completos al actualizar un solo símbolo. Usar react-window para la lista de 500+ instrumentos y React.memo en componentes de señal. Reducir actualizaciones SSE a delta-patch (JSON Patch RFC 6902) en lugar de payload completo.
FixedSizeList · React.memo · JSON Patch delta · requestAnimationFrame throttle

−600 ms p99
4

Backpressure en Ingest Worker — Bull Queue concurrency + overflow shed

En hora pico, la cola Redis se llena y los workers caen al 30 %. Añadir backpressure explícita: si queue.waiting > 500, rechazar mensajes del provider con 429 y reconnectar en 100 ms. Aumentar concurrencia de workers de 4 a 12. Separar cola de high-priority (orderbook) de low-priority (histórico).
Bull concurrency: 12 · queue.isPaused check · priority queues HOT/COLD

−350 ms p99
5

Mover API Gateway a región MAD — reducir RTT SSE

La mayoría de usuarios están en Europa. Fijar Fly.io routing a mad como región primaria y usar anycast para fallback a ams/lhr solo si > 200 ms RTT. Con SSE ya en la misma región que Redis, el p99 de gateway debería bajar de 620 ms a ~120 ms.
fly.toml primary_region = "mad" · metrics: fly_edge_http_response_time_seconds

−500 ms p99
6

Canaries de frescura — orderbook age monitor + kill-switch

Añadir header X-Orderbook-Age-Ms en cada SSE event. Browser alertar si age > 300 ms (banner "datos retrasados"). En servidor, detector de provider stale: si no hay tick en 2 s → reconectar + incrementar freshness_miss_total en Prometheus.
SSE event: {data, ts_provider, ts_gateway} · Prometheus gauge orderbook_age_ms

−observabilidad
7

Streaming solo para orderbook — batching para señales de baja frecuencia

Las señales ML no cambian cada 50 ms — agregar en lotes de 200 ms máximo y enviar un único SSE event con batch. Reservar streaming tick-by-tick solo para bid/ask del orderbook. Reduce payload SSE en ~70 % y mejora el render budget del browser.
SSE stream type: TICK | SIGNAL_BATCH · batch_interval_ms: 200

−200 ms p99

Mejora Proyectada p99 End-to-End

Antes (actual) 3.312 ms

Después (optimizaciones 1–5) ~512 ms

P99 ACTUAL

3.312 ms

4.1× sobre SLA

P99 PROYECTADO

~512 ms

✓ Por debajo del SLA 800ms

Reducción acumulada estimada: Ops 1+2 (ML cache/warm): −1.850 ms · Op 3 (render): −600 ms · Op 4 (backpressure): −350 ms · Op 5 (región): −500 ms · Subtotal = −3.300 ms → p99 neto ~512 ms con margen de seguridad al SLA.

Canaries de Verificación

Orderbook Freshness Age

Actual: 4.1 s · Umbral alerta: 300 ms · Crítico: 1 s

FALLO

ML Inference Cold-Start Rate

1.2 s en arranque de pod · Target: 0 ms con warm pool

FALLO

Redis Queue Depth (backpressure)

Pico: ~800 jobs · Umbral: 500 jobs

ALERTA

SSE Payload Size / evento

Actual: ~12 KB (full state) · Target: <800 B (delta patch)

ALERTA

Redis Hit Rate (señales)

Actual: 87 % · Target: > 95 %

Provider WS Reconnects / hora

Actual: 2–3 · Target: < 5 · Picos aceptables

Kill-Switch de Ejecución

Estado: no implementado · REQUERIDO antes de prod

PENDIENTE

Guardrails — No cruzar estas líneas en la optimización

NO saltarse validación

No eliminar checks de integridad del orderbook para ganar ms. Stale data es peor que latencia alta.

NO ocultar datos stale

Cache hits rápidos con datos viejos deben exponer X-Signal-Age. El browser debe mostrar el indicador de frescura siempre.

NO afirmar ms sin medición

Cada claim de mejora debe tener un readback: HTTP timing, Prometheus gauge, o log de latencia real. Sin datos = sin claim.

Kill-switch ANTES de prod

El módulo de ejecución simulada NO puede activarse sin un gate explícito de aprobación. Implementar flag en Fly.io secrets.

TradeFlowAI — Análisis de Latencia Crítica

Eliminar cold-start del modelo ML — Warm Pool + Pre-warming

Cache de señales ML con freshness tag — separar hot path de inference

React render — virtualizar tabla de cotizaciones + React.memo en señales

Backpressure en Ingest Worker — Bull Queue concurrency + overflow shed

Mover API Gateway a región MAD — reducir RTT SSE

Canaries de frescura — orderbook age monitor + kill-switch

Streaming solo para orderbook — batching para señales de baja frecuencia