Modelos Locales HuggingFace con llama.cpp
Guia tecnica para buscar, seleccionar y ejecutar modelos GGUF de HuggingFace en local usando llama.cpp, con soporte para CPU, Mac Metal, CUDA y ROCm. Incluye seleccion de cuantizacion, arranque de servidor compatible con OpenAI y conversion desde pesos Transformers.
Descarga abierta · sin registro · para HuggingFace Hub, llama.cpp, macOS
// qué_hace
Permite desplegar modelos LLM open-source en local con un endpoint compatible con la API de OpenAI.
// cómo_lo_hace
Busca repos GGUF en el Hub, selecciona la cuantizacion optima segun hardware y lanza el modelo con llama-cli o llama-server.
// ejemplo_de_uso
Úsala para ejecutar un modelo LLM potente en tu propia máquina sin costes de API ni enviar datos a terceros. Ej.: seleccionas un modelo GGUF de Llama 3 adaptado a tu GPU, lo lanzas con llama-server y lo consumes desde cualquier cliente compatible con OpenAI.
// plataformas
// opiniones_de_la_comunidad
Opiniones
Cargando opiniones…
// pase_cultiva_ia
Llévate todo el arsenal con el Pase
Todas las skills, prompts y automatizaciones del catálogo en un único archivo, listas para usar: un pago, acceso de por vida y las novedades que añadamos. Sin suscripción.
Pago único · IVA incluido · pago seguro con Stripe.
Acceso inmediato · si no es lo que esperabas, te devolvemos los 10 €.