L'inférence est peut-être la catégorie de logiciels émergents la plus précieuse. À mesure que les modèles deviennent plus intelligents et plus rentables, la puissance de calcul sera de plus en plus consacrée à l'extraction d'échantillons à partir de ces modèles. Si vous souhaitez travailler sur l'inférence chez OpenAI, contactez-nous à l'adresse gdb@openai.com. Veuillez inclure une description d'une équipe exceptionnelle dont vous avez fait partie et de votre contribution à ses objectifs. Indiquez également toute expérience en inférence, en optimisation de systèmes à grande échelle ou dans d'autres domaines où vous avez acquis une expertise. De nombreux problèmes passionnants à résoudre, allant de la compréhension approfondie du modèle de propagation avant (y compris la simulation/la recherche d'opportunités créatives d'optimisation) ; aux gains d'efficacité au niveau du système tels que le décodage spéculatif ou le déchargement kv ou l'équilibrage de charge tenant compte de la charge de travail ; jusqu'à la gestion et la mise en évidence d'une flotte massive à grande échelle.
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.