Con KTransformers + LLaMA-Factory, 2-4 GPU RTX 4090 + CPU de gran memoria, puedes ajustar con precisión MoE ultra grandes como DeepSeek-671B. Utilizamos LLaMA-Factory para la planificación de la capa superior, responsable del procesamiento de datos, la planificación del entrenamiento, la inserción de LoRa y la gestión de la interfaz de inferencia. KTransformers, que actúa como un backend conectable de alto rendimiento, se hace cargo de operadores centrales como Attention/MoE bajo la misma configuración de entrenamiento, lo que permite una colaboración eficiente entre GPU y CPU en dispositivos heterogéneos. La viabilidad de la arquitectura se verificó mediante tareas como diálogos estilizados, traducción al estilo occidental y preguntas y respuestas médicas. En comparación con HuggingFace y Unsloth, KTransformers es actualmente la única solución que puede realizar con éxito el ajuste fino de LoRA de un modelo 671B al nivel 4090. #Ajuste fino del modelo
Bloblog.llamafactory.net/posts/ktransfo…j6U Repositorio dgithub.com/kvcache-ai/ktr…//t.swcil84qspu.feishu.cn/wiki/KxovwmTOn…ación: https://t.co/QFMquGJMss