On y trouve de nombreuses astuces intéressantes. « Évolué à partir du noyau dense du modèle de langage Qwen2.5-7B ». Experts activés : 2 experts partagés + 0 à 3 experts routés, pour un minimum de 1,5 milliard et un maximum de 18 milliards ! architecture très complexe
