Alexander Doria（@Dorialexander）のスレッド

モデル設計側での実際の実験を伴った、Nvidia からのすばらしい新しいオープン エブリシング モデル リリース (さらに、シンセ推論を扱うことで、この点で新たなインセンティブが生まれるという私の考え)。

面白いことに、Pleia の最初の LLM コンピューティング プランはかなり近いものでした。つまり、シンセでトレーニングされたエキスパートの 30 ～ 50b 範囲のハイブリッド マンバ ミックスです (2024 年 1 月から開始されましたが、残念ながら資金は提供されませんでした)。