Biais des résultats

Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools

Fascinante étude qui prend enfin le temps d’entrer sur des tests très précis et documentés de la performance des modèles d’IA dans le juridique. Un clan fermé d’acteurs très bien installés et financés et pourtant des performances très éloignées de leur discours marketing. Bien sûr que les progrès vont venir, mais pourquoi faire croire que les hallucinations n’existent plus, même avec du RAG et surtout dans un domaine aussi sensible que le juridique ?
Si vous voulez éviter les 38 pages, les principaux passages en 3 ou 4 pages…

Data d'entraînement

La BNF prête à ouvrir ses archives pour franciser des modèles d’IA

Probablement une excellente nouvelle pour les business aussi : plus les données d’entrainement seront locales ou européennes, plus les résultats que les LLM produisent sembleront pertinents. On oublie souvent que les LLM actuels sont entrainés sur les données du Web, elles-mêmes pas représentative de la société ou l’histoire américaine. C’est d’ailleurs pour que ça que tous les acteurs essaient de négocier avec les groupes de presse. Autant dire qu’on n’a pas être surpris des “hallucinations” sur des recherches spécifiques sur l’histoire ou l’économie française.

Data d'entraînement

OpenAI: Our approach to data and AI

Media Manager permettra en 2025 aux artistes et aux créateurs de contenus, y compris les médias, de revendiquer la paternité de leurs productions et de spécifier s’ils souhaitaient ou non autoriser la société à les utiliser pour entraîner ses modèles d’IA générative. Ca sent l’IA Act mais ne règle pas tout, de loin.

Hacking

Many shot prompting break AI safety filters

Ah ben mince, avec les nouveaux modèles avec une fenêtre de contexte bien plus importante (notamment Gemini 1.5) qui permet de faire plus de choses sans passer par du RAG, on augmente le risque de hack !