Evaluación Local de Modelos Hugging Face Hub
Ejecuta evaluaciones de modelos del Hugging Face Hub en hardware local usando inspect-ai y lighteval con backends vLLM, Transformers o accelerate. Ideal para selección de modelos, benchmarking de rendimiento y pruebas de calidad antes de despliegue.
Incluida en el Pase · para Hugging Face Hub, vLLM, inspect-ai
// qué_hace
Lanza evaluaciones de LLMs del Hub de Hugging Face en local con frameworks inspect-ai o lighteval y distintos backends de inferencia.
// cómo_lo_hace
Proporciona scripts Python listos para ejecutar con uv que seleccionan automáticamente el backend óptimo (vLLM, HF Transformers, accelerate) y guían desde smoke tests hasta evaluaciones a escala completa.
// ejemplo_de_uso
Para investigadores ML que quieren evaluar un LLM del Hub sin montar infraestructura compleja. Ej.: lanzar un smoke test de Mistral 7B con inspect-ai en local para comparar su rendimiento antes de fine-tuning.
// plataformas
// opiniones_de_la_comunidad
Opiniones
Cargando opiniones…