Thread de meng shao (@shao__meng)

[Recomendação de código aberto] Habilidades NVIDIA NeMo O conjunto de ferramentas de código aberto da NVIDIA concentra-se no aprimoramento de várias "habilidades" do LLM (Learning Learning Machine). Trata-se de uma estrutura de desenvolvimento completa e de nível empresarial que abrange todo o processo, desde a geração de dados até o treinamento e a avaliação do modelo. Módulos funcionais principais 1. Sistema de inferência flexível: Suporta múltiplos backends de inferência: pode alternar livremente entre serviços de API, servidores locais e clusters de grande escala; integra os principais mecanismos de inferência: TensorRT-LLM, vLLM, sglang e Megatron. - Escalabilidade flexível, desde uma única GPU até dezenas de milhares de GPUs. 2. Um programa abrangente de avaliação de modelos suporta uma ampla gama de parâmetros de avaliação, abrangendo diversas áreas-chave: • Raciocínio Matemático: Inclui problemas de nível competitivo como AIME e HMMT. • Demonstrações Formais: Suporta demonstrações de teoremas em linguagens Lean (MiniF2F, ProofNet, etc.). • Habilidades de programação: Tarefas práticas de programação, como SWE-bench e LiveCodeBench • Conhecimento científico: Questões profissionais em áreas como física, química e biologia • Outras dimensões, como conformidade com instruções, contexto longo, chamadas de ferramentas, multilinguismo e processamento de fala 3. O treinamento do modelo integra as estruturas de treinamento NeMo-RL e Verl, suportando técnicas avançadas de treinamento, como o aprendizado por reforço. O projeto de principais conquistas apoiou diversos lançamentos de pesquisa importantes da NVIDIA: • Série OpenReasoning: Alcançando níveis de última geração (SOTA) em matemática, programação e raciocínio científico na época. • OpenMathReasoning: Um conjunto de dados contendo 306.000 problemas de matemática e 3,2 milhões de soluções detalhadas. • OpenMathInstruct-2: Um conjunto de dados de ajuste fino de instruções em larga escala, contendo 14 milhões de pares de perguntas e respostas matemáticas. Características técnicas 1. Design modular: Cada componente pode ser usado de forma independente ou combinado em um fluxo de trabalho completo de treinamento e avaliação. 2. Escalabilidade: A mesma base de código pode ser executada em laptops e clusters de supercomputadores. 3. Integração com o ecossistema: Integração profunda com a infraestrutura e o conjunto de ferramentas de IA da NVIDIA. projetos de código aberto