Despliegue LLM Local con llama.cpp

# macOS — instala con Metal habilitado por defecto
brew install llama.cpp

# Linux Ubuntu — compilar con OpenBLAS para CPU-only
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
make LLAMA_OPENBLAS=1

# Verificar instalación
llama-server --version

# 1. Buscar repos GGUF para Qwen2.5-14B en el Hub
#    URL: https://huggingface.co/models?search=Qwen2.5-14B&apps=llama.cpp&sort=trending
#    Resultado: bartowski/Qwen2.5-14B-Instruct-GGUF (repo con GGUF nativos)

# 2. Ver página local-app para recomendación de cuantización
#    https://huggingface.co/bartowski/Qwen2.5-14B-Instruct-GGUF?local-app=llama.cpp

# 3. Confirmar filenames exactos con la Tree API
curl -s "https://huggingface.co/api/models/bartowski/Qwen2.5-14B-Instruct-GGUF/tree/main?recursive=true" \
  | python3 -c "import json,sys; [print(f['path']) for f in json.load(sys.stdin) if f['path'].endswith('.gguf')]"

# Resultado esperado:
# Qwen2.5-14B-Instruct-Q3_K_M.gguf
# Qwen2.5-14B-Instruct-Q4_K_M.gguf  ← elegido
# Qwen2.5-14B-Instruct-Q5_K_M.gguf
# Qwen2.5-14B-Instruct-Q6_K.gguf
# Qwen2.5-14B-Instruct-Q8_0.gguf

# ── Mac Studio M2 Ultra (servidor producción NovaTech) ──────────────────────
# Primera vez: descarga GGUF (~8.5 GB) y arranca
llama-server \
  --hf-repo bartowski/Qwen2.5-14B-Instruct-GGUF \
  --hf-file Qwen2.5-14B-Instruct-Q4_K_M.gguf \
  -c 16384 \
  -ngl 99 \
  --host 0.0.0.0 \
  --port 8080

# Con shorthand Hub (alternativa equivalente)
llama-server -hf bartowski/Qwen2.5-14B-Instruct-GGUF:Q4_K_M -c 16384 -ngl 99 --host 0.0.0.0

# Air-gapped producción: modelo ya descargado en disco local
llama-server \
  -m /opt/models/Qwen2.5-14B-Instruct-Q4_K_M.gguf \
  -c 16384 \
  -ngl 99 \
  --host 0.0.0.0 \
  --port 8080

# ── Test con cURL ──────────────────────────────────────────────────────────
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer no-key" \
  -d '{
    "model": "local",
    "messages": [
      {"role": "system", "content": "Eres un analista industrial experto en fabricación."},
      {"role": "user",   "content": "Resume los 3 KPIs más importantes de un informe de planta: OEE 87%, tiempo de ciclo 4.2s, tasa de rechazo 0.3%."}
    ],
    "max_tokens": 512,
    "temperature": 0.3
  }'

# ── Integración Python con SDK openai (sin cambios en lógica de negocio) ───
from openai import OpenAI

client = OpenAI(
    base_url="http://192.168.1.100:8080/v1",  # IP Mac Studio en LAN NovaTech
    api_key="no-key"
)

response = client.chat.completions.create(
    model="local",
    messages=[
        {"role": "system", "content": "Eres analista de operaciones industriales."},
        {"role": "user",   "content": informe_texto}
    ],
    temperature=0.2,
    max_tokens=1024
)