Hilo de Yangyi (@Yangyixxxx)

Mi comprensión personal del enfoque para evaluar y calificar a los agentes de IA: 1. Evaluación interna de expertos: Primero, realice una búsqueda exhaustiva de todo el conocimiento, libros o metodologías en este campo para encontrar enfoques de expertos. Luego, abstraiga y cuantifique estos enfoques en varias dimensiones, formando así un marco de evaluación. A continuación, encontramos un gran conjunto de datos de casos y los expertos los calificaron manualmente. Por supuesto, también puedes entrenar a un agente para que califique los resultados, alineándolos con las puntuaciones de los expertos. 2. Puntuación del modelo: en este escenario específico, se ejecutan diferentes modelos en el mismo conjunto de datos para obtener resultados de puntuación, con el fin de encontrar el modelo de última generación (SOTA) para este escenario. 3. Compare y califique a sus agentes y a los de la competencia en paralelo. Evalúe las mismas entradas y obtenga resultados diferentes. Luego, vuelva al paso 1 de la evaluación para comprender las diferencias entre sus agentes y la competencia en escenarios específicos. 4. Puntuación de usuarios expertos: busque usuarios expertos y recopile sus dimensiones de puntuación y NPS (puntuación neta por puntuación) para optimizar y refinar iterativamente el marco de puntuación. ----- No permita que los usuarios comunes califiquen el producto, ya que esta calificación será inválida. Puedes preguntar a usuarios habituales sobre NPS, pero nunca dejes que un profano enseñe a un experto. Los usuarios expertos pueden juzgar si un producto es bueno o malo. Los expertos aquí no son sólo expertos internos de la industria, sino también usuarios expertos externos. Los usuarios expertos suelen ser líderes de opinión y sus preferencias pueden amplificarse e influir en el público general. En otras palabras, estos usuarios son agregadores de los gustos del público en general, por lo que sus valoraciones tienen mayor valor como referencia.