Fil de Yangyi (@Yangyixxxx)

Au cours d'un dîner, un ami m'a demandé quelle était, selon moi, l'étape la plus difficile dans le développement de produits d'IA. Après réflexion, j'ai estimé que la conception d'un mécanisme de retour d'information et d'évaluation était l'étape la plus complexe. Il faut d'abord définir la somme et la différence, c'est-à-dire trouver la fonction de récompense. Mais cette étape peut s'avérer complexe pour de nombreux produits. Car, dans de nombreux cas de figure, il est difficile de construire des indicateurs quantifiables permettant de distinguer le bon du mauvais. Les indicateurs de rétroaction sont généralement divisés en deux catégories : la rétroaction explicite et la rétroaction implicite. Les commentaires explicites incluent des éléments tels qu'une réponse, un « j'aime » ou un « je n'aime pas » ; les commentaires implicites incluent des éléments tels que l'analyse normalisée du comportement de l'utilisateur (comme les clics, le temps passé sur la page, etc.). Cependant, la difficulté liée au feedback explicite réside dans le fait qu'il devient une contrainte négative plutôt que positive. Par exemple, vous ne pouvez pas inciter les utilisateurs à dire que ce produit est excellent car même si les utilisateurs donnent des commentaires « positifs »... Il n'y a pas beaucoup d'avantages. Lorsque l'on donne des commentaires négatifs, on nourrit des attentes, espérant que ces commentaires mèneront à une amélioration. Or, les commentaires positifs ne leur apportent aucun bénéfice personnel ; ils ne font que conforter et encourager le système. Cela pose un problème : le succès initial d’un produit repose davantage sur l’expertise que sur les retours d’expérience. Ce n’est qu’à partir d’une soixantaine de points qu’il aura progressivement l’occasion de recueillir des avis positifs explicites. Dans une certaine mesure, la plupart des produits d'IA dépendent davantage de l'intervention humaine que de l'IA elle-même à leurs débuts. Cependant, même les humains ne sont pas toujours en mesure de décrire précisément ce qui est « bon ». Mesurer ce qui est « bon », le décomposer en plusieurs dimensions orthogonales, puis l'évaluer et l'améliorer en fonction de ces dimensions, est une tâche relativement difficile. Si cela est bien fait, le développement des produits d'IA sera beaucoup plus fluide.