OpenAIからの珍しく、非常に興味深い贈り物です。原理的には、本質的にスパースで大きな名目次元を持つ活性化モデルは、孤立した低容量の専門家を持つMoEよりも優れています。ただし、層間の専門家通信は別の現実的な方法かもしれません。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
1 件のツイート · 2025/12/12 19:19
OpenAIからの珍しく、非常に興味深い贈り物です。原理的には、本質的にスパースで大きな名目次元を持つ活性化モデルは、孤立した低容量の専門家を持つMoEよりも優れています。ただし、層間の専門家通信は別の現実的な方法かもしれません。