Algunas hipótesis sobre lo que podría significar “mejor preentrenamiento” Integración con otras etapas de entrenamiento: supongo que por fin han llegado a un punto en el que el rendimiento posterior al entrenamiento (p. ej., SWE-Bench) puede utilizarse como indicador para las decisiones de ingeniería previas al entrenamiento. - Filtrado: enfoques de escalado como las funciones de influencia para eliminar puntos de datos que no ayudan a evaluar el rendimiento. - Datos sintéticos: utilizar la reformulación para aumentar la muestra de ciertos documentos útiles y hacerlos más susceptibles de razonamiento. - Mezcla: enfoques más fundamentados y escalables para determinar los coeficientes de mezcla - Nuevos datos: compra y escaneo de más libros, transcripción de vídeos de YouTube, compra de colecciones privadas de tokens, como artículos de noticias. - Empaquetado inteligente: existen varias formas de agrupar documentos en lotes que funcionan mejor, especialmente para información de contexto extenso. - Sistemas: más datos, más errores
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.