Implementar modelos grandes localmente puede ser abrumador debido a la gran cantidad de herramientas y tutoriales disponibles. Un minuto es Ollam, al siguiente es vLLM, y existen todo tipo de marcos de trabajo para optimizarlos. Encontrar una solución confiable te deja sin ideas. Me topé con el proyecto Awesome Local LLM en GitHub, que es como una "enciclopedia" para ejecutar modelos grandes localmente. No solo es completo, sino que su lógica de clasificación también es muy clara, lo que nos ayuda a comprender rápidamente la pila tecnológica. Cubre más de una docena de categorías, incluidas plataformas de inferencia, motores de inferencia, interfaces de usuario, modelos de lenguaje grandes y herramientas de desarrollo, y también incluye consejos de selección de hardware y tutoriales prácticos. GitHub: https://t.co/9OJw4ll84L Cada proyecto está marcado con su número de estrellas de GitHub y una breve descripción, lo que facilita determinar rápidamente su popularidad y propósito. También incluye recursos de aprendizaje como tutoriales de YouTube y reseñas de hardware. Si desea crear un entorno de modelo local a gran escala o está buscando herramientas de código abierto con funciones específicas, vale la pena guardar esta colección para futuras referencias.
