Estou ansioso pelos micro-LLMs super-rápidos e com uso intensivo de CPU que poderemos consultar como funções embutidas. > Application::prompt("Algum destes soa francês?", ["John", "Pierre"], ["json_format" => `{"french": boolean", "name": string}`]; ... 2ms depois {"francês": verdadeiro, "nome": "Pierre"}
Dou no máximo 2 anos. Depois disso, estará presente em todos os sistemas operacionais e todas as estruturas de programação terão essa funcionalidade integrada.
Atualmente, a área é extremamente interessante. Temos: - Smohuggingface.co/HuggingFaceTB/…J6lp9 - Destilações de CPU do Degithub.com/AliOsm/deepsee…MySH1uN8 - a pequena ai.meta.com/blog/llama-3-2…2QBp3oX5r - Phi 3.5mini dahuggingface.co/microsoft/Phi-…/2EHpDbPKw6 Todo mundo está trabalhando para quantizar ainda mais!