通常情況下,冷啟動一個用於 @MistralAI 3 3B 的 @vllm_project 伺服器大約需要兩分鐘——主要是 @PyTorch 編譯和 CUDA 圖擷取。 使用 @modal GPU 快照,可以將時間縮短至僅 12 秒。
點擊此處閱讀更多內容,包括可供您自行嘗試的程式碼。 https://t.co/H6cwlDvI74
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 2 則推文 · 2025年12月4日 晚上10:09
通常情況下,冷啟動一個用於 @MistralAI 3 3B 的 @vllm_project 伺服器大約需要兩分鐘——主要是 @PyTorch 編譯和 CUDA 圖擷取。 使用 @modal GPU 快照,可以將時間縮短至僅 12 秒。
點擊此處閱讀更多內容,包括可供您自行嘗試的程式碼。 https://t.co/H6cwlDvI74