인라인 함수로 쿼리할 수 있는 CPU 기반 초고속 마이크로 LLM이 나오기를 손꼽아 기다리고 있습니다. > Application::prompt("이 중에 프랑스어로 들리는 게 있나요?", ["John", "Pierre"], ["json_format" => `{"french": boolean", "name": string}`]; ... 2ms 후 {"french": true, "name": "피에르"}
최대 2년 정도 예상합니다. 그러면 모든 OS에 적용되고, 모든 코딩 프레임워크에 기본 기능으로 탑재될 겁니다.
요즘은 이 분야가 매우 흥미롭죠. 우리는 가지고 있습니다: - 스몰LM2 https://t.co/Ir0BEJhuggingface.co/HuggingFaceTB/…제: https://t.co/9XMySH1uN8 - 작은 github.com/AliOsm/deepsee…p3oX5r - 마이크로소프트의 Phiai.meta.com/blog/llama-3-2…EHpDbPKw6 모두가 양자화를 더욱 강화하기 위해 노력하고 있습니다!