来自 Yohei（@yoheinakajima）的推文线程

如果您已经开始针对较小的任务对开源模型进行微调，那么使用像 @runanywhereai SDK 这样的工具可以将部分推理任务卸载到用户设备上，从而降低云端推理成本和延迟。 但可能还有我没想到的更有趣/独特的应用。