來自 Yohei（@yoheinakajima）的推文串

如果您已經開始針對較小的任務對開源模型進行微調，那麼使用像 @runanywhereai SDK 這樣的工具可以將部分推理任務卸載到用戶設備上，從而降低雲端推理成本和延遲。 但可能還有我沒想到的更有趣/獨特的應用程式。