KTransformers+LLaMA-Factory,2-4張RTX 4090+大記憶體CPU,即可微調DeepSeek-671B等超大MoE 用LLaMA-Factory做上層調度,負責資料處理、訓練調度、LoRA插入與推理介面管理 KTransformers則作為其可插拔的高效能後端,在相同的訓練配置下接管Attention/MoE等核心算子,實現異質設備GPU+CPU的高效協同 此架構透過風格化對話、西式翻譯腔、醫學問答等任務,驗證了可行性 比較HuggingFace、Unsloth,KTransformers是目前唯一在4090級能把671B模型LoRA微調跑通的方案 #模型微調
部落格blog.llamafactory.net/posts/ktransfo…U KTransformers倉庫github.com/kvcache-ai/ktr…Os 文swcil84qspu.feishu.cn/wiki/KxovwmTOn…ss
