Une IA Ethique pour transformer votre business
Il va donc falloir vivre avec les hallucinations pendant encore plusieurs années d’après le CEO de Nvidia. On peut penser qu’il est bien informé et pas aussi biaisé que les fournisseurs d’IA. Au moins c’est transparent. Il vaut mieux ne pas miser dessus quand on développe une IA pour son entreprise, on évitera les mauvaises surprises.
Dans la difficulté de mise en œuvre de l’IA on retombe sur la source : la data. D’après cette étude, 78% des entreprises n’ont pas les fondations de données suffisantes pour tirer parti de l’IA. Rien de bien surprenant, mais il est étonnant de voir que les dirigeants oublient souvent ce paramètre, voire pire, pensent que l’IA leur fera éviter cette étape.
Ce n’est pas une nouveauté que les LLM font beaucoup d’erreurs. C’est même ok vu leur “âge”. Cela ne veut pas dire qu’il ne faut pas s’en servir, au contraire, il faut mesurer les erreurs et augmenter la précision sur des cas d’usages spécifiques et critiques. Ce qui est plus surprenant ici, c’est que Whisper est fourni à toutes les grandes entreprises mondiales via OpenAI, Oracle et Microsoft, qu’il a été téléchargé 4 millions de fois en open-source et 30 000 cliniciens l’utilisent aux États-Unis. Personne n’a testé la qualité avant de se jeter dessus ?
Toujours utile de se référer aux travaux de recherche pour évaluer la situation actuelle en termes de qualité. Celle-ci a créé un benchmark pour mesure dans les LLM le “maillon faible” particulièrement dans les tâches nécessitant plus d’une compétence. Pour démontrer la distance qu’il nous reste à parcourir avant les Agents.
Il y a les différents tests plein de biais (on en parlait hier) mais là, c’est du concret : ChatGPT o1 avec son raisonnement logique en “Chain of thoughts” dépasse les humains sur les parties logiques, donc notamment sur le dév. Les compétitions ne peuvent plus accepter des IA, comme précédemment pour les Echecs et le jeu de Go. Clairement une étape de plus qui est franchie dans l’histoire de l’IA.
Les tests de performance LLM sont truffés de biais et utilisés par les fournisseurs de LLM. À garder en tête quand on doit faire le choix pour son entreprise. Un benchmark sur ses propres cas d’usages semble être malheureusement la seule solution.
Cela devrait avoir peu d’impact pour l’implémentation de l’IA dans les entreprises mais c’est quand même à retenir : les LLM sont majoritairement de gauche. Ca montre surtout la précaution qu’il faut avoir quant aux biais qu’ils possèdent…
Souvent une idée fausse des personnes sceptiques de l’IA : elle ne pourrait pas faire des tâches vraiment humaines. C’est l’inverse pour l’instant : l’IA bloque sur des tâches pourtant simples, mais peut simuler plus d’empathie qu’un humain.
Un rappel (contraire au marketing ambiant) : le RAG n’est pas la panacée. Grâce à lui un LLM fait moins d’erreurs, mais il en fait toujours. Cette étude qui teste les solutions professionnelles dans le juridique montre un taux d’erreur entre 17 et 33%. Les éditeurs rappellent à raison que le but n’est pas de remplacer les juristes, mais de les aider. Mais important de garder ce point en tête : l’IA générative n’atteint pas l’exactitude (et ce n’est pas son but).
La surprise vient plus du fait qu’un LLM générique comme chat GPT4 est plus efficace que du machine learning traditionnel et spécialisé sur ces sujets. On rappelle aussi que les LLM sont à l’aise avec les textes, beaucoup moins avec les chiffres. Ça peut donc aider les analystes, mais encore une fois pas les remplacer