KTransformers+LLaMA-Factory，2-4張RTX 4090+大記憶體CPU，即可微調DeepSeek-671B等超大MoE 用LLaMA-Factory做上層調度，負責資料處理、訓練調度、LoRA插入與推理介面管理 KTransformers則作為其可插拔的高效能後端，在相同的訓練配置下接管Attention/MoE等核心算子，實現異質設備GPU+CPU的高效協同 此架構透過風格化對話、西式翻譯腔、醫學問答等任務，驗證了可行性 比較HuggingFace、Unsloth，KTransformers是目前唯一在4090級能把671B模型LoRA微調跑通的方案 #模型微調
部落格blog.llamafactory.net/posts/ktransfo…U KTransformers倉庫github.com/kvcache-ai/ktr…Os 文swcil84qspu.feishu.cn/wiki/KxovwmTOn…ss