我迫不及待地想要看到那些 CPU 密集的超高速微型 LLM，我們可以像內嵌函數一樣進行查詢。 > Application::prompt("這些名字聽起來像法語嗎？", ["John", "Pierre"], ["json_format" => `{"french": boolean", "name": string}`]; ……2毫秒後 {"french": true, "name": "Pierre"}
我估計最多兩年，到那時每個作業系統都會內建這項功能，每個編碼框架都會將其作為內建功能。
目前，這個領域非常有趣。 我們有： - SmolLM2 https://t.co/Ir0BEJ6lp9 - DeepSehuggingface.co/HuggingFaceTB/…co/9XMySH1uN8 - 小羊駝3.2 https://tgithub.com/AliOsm/deepsee…i 3.5mini https://t.coai.meta.com/blog/llama-3-2…量化！