La inferencia es quizás la categoría de software emergente más valiosa. A medida que los modelos se vuelven más inteligentes y económicamente valiosos, se empleará cada vez más capacidad de cómputo para extraer muestras de los modelos. Si te interesa trabajar en inferencia en OpenAI, contáctanos: gdb@openai.com. Incluye una descripción de un equipo excepcional del que hayas formado parte y tu contribución a los objetivos de dicho equipo. Indica también cualquier experiencia en inferencia, optimización de sistemas a gran escala u otras áreas en las que hayas desarrollado conocimientos especializados. Hay muchos problemas interesantes en los que trabajar, desde comprender profundamente el paso hacia adelante del modelo (incluyendo la simulación y la búsqueda de oportunidades creativas para la optimización); hasta eficiencias a nivel de sistema como la decodificación especulativa o la descarga de kv o el equilibrio de carga consciente de la carga de trabajo; hasta gestionar y hacer observable una flota masiva a escala.
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.