建構一個擁有 1 千萬億個參數的語言模型並非完全不可能(除了從哪裡獲取所有這些數據之外)。 雖然考慮到上下文和鍵值緩存,你可能需要比這多 25% 的 GPU。 10萬台H100或許就能做到
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 1 則推文 · 2025年11月5日 晚上10:24
建構一個擁有 1 千萬億個參數的語言模型並非完全不可能(除了從哪裡獲取所有這些數據之外)。 雖然考慮到上下文和鍵值緩存,你可能需要比這多 25% 的 GPU。 10萬台H100或許就能做到