A inferência é talvez a categoria de software emergente mais valiosa. À medida que os modelos se tornam mais inteligentes e economicamente mais valiosos, o poder computacional será cada vez mais gasto na extração de amostras desses modelos. Se você tiver interesse em trabalhar com inferência na OpenAI, entre em contato pelo e-mail gdb@openai.com. Inclua uma descrição de uma equipe excepcional da qual você fez parte e sua contribuição para os objetivos dessa equipe. Indique também qualquer experiência em inferência, otimização de sistemas de grande escala ou outras áreas em que você tenha adquirido conhecimento especializado. Há muitos problemas interessantes para trabalhar, desde a compreensão profunda da passagem direta do modelo (incluindo a simulação/descoberta de oportunidades criativas de otimização); até eficiências em nível de sistema, como decodificação especulativa, descarregamento de kv ou balanceamento de carga com reconhecimento de carga de trabalho; até o gerenciamento e a observabilidade de uma frota massiva em grande escala.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.