Efeito colateral de impedir que empresas chinesas comprem as melhores placas NVIDIA: os modelos de ponta agora estão sendo explicitamente programados para funcionar bem em GPUs mais antigas/baratas. O novo modelo SoTA de @Kimi_Moonshot usa operações BF16 simples (após a desquantização de INT4); não há necessidade do caro suporte FP4.
Esta é uma ótima notícia para todos nós. Significa acesso mais barato aos melhores modelos disponíveis para todos. 非常感谢 @Kimi_Moonshot! :D