我們探索了 GMI Cloud Inference Engine 2.0 @gmi_cloud - 一個用於運行文字、圖像、視訊和音訊模型的統一 API。 無需繁瑣的設定。 NVIDIA DGX Cloud Lepton 和 GMI 的叢集引擎可實現乾淨俐落的縮放和流暢的輸出。 以下是我們測試的內容👇
效能提升顯而易見： • 推理速度提升 1.46 倍 • 吞吐量提升 25%–49% • 比平均 V3 供應商便宜 71% 全新的控制台使用者介面簡化了部署流程。我們完全無需改動基礎架構。所有操作都透過內建彈性擴充功能的 API 完成。
我們使用 Sora-2 Pro 對 GMI Cloud IE 2.0 進行了測試，看看它在影片生成方面能做到什麼程度。 以下是我們創作的三個例子——電影般的東京街景、正在修復程式碼的殭屍開發者，以及黎明時分的霓虹城市。 所有內容均直接在 @gmi_cloud 上使用 Sora-2 Pro 生成，無需任何設定或後處理。
我們在 GMI Cloud IE 2.0 上測試了 Qwen3 Coder 480B A35B Instruct FP8。 它使用 FastAPI、MongoDB 和 JWT 身份驗證構建了一個完整的訂閱追蹤器框架，外加 README、curl 測試和 Dockerfile——所有這些都在一個會話中完成。 快速、結構化、準確。
新用戶可獲得 5 美元免費積分，用於試用推理引擎 2.0。 加入 GMI 社群：https://t.co/NsGRNstYjx 從這裡開始測試：https://t.co/h7zU2F1D8D