Si la variance de la ligne de base est aussi importante, il convient d'utiliser plusieurs valeurs initiales et de réaliser plusieurs expériences. MLEbench offre de bons précédents pour gérer ce type de situation où les performances sont extrêmement variables. Un écart de plus de 10 % est considérable, je n'ai pas pris la peine de vérifier hier, j'aurais dû.
Il faut bien le dire : entre les différents fournisseurs, les invites et le bruit ambiant lui-même, il faut y consacrer beaucoup de temps pour bien faire les choses. Mais si les scores rapportés présentent un écart de plus de 10 % par rapport à ceux que vous déclarez et que vous vous en servez pour prétendre faire mieux que les autres, alors la charge de cet effort supplémentaire vous incombe.