Meta aurait benchmarké un autre modèle sur la LMArena que celui livré. Ce ne seraient pas les premiers, ni les derniers à optimiser leur modèle pour bien se positionner dans un benchmark qui reste imparfait. Cela a le mérite de mettre un peu de pression sur les fournisseurs de modèles et pour nous autres entreprises, de nous rappeler ne pas prendre ces benchmarks comme un fait, mais plutôt comme une hypothèse (à vérifier donc). En périphérie, on observe que le débat sur l’AGI sonne vraiment creux si on n’est même pas capables de se mettre d’accord sur la performance des modèles actuels.