Longtime policy researcher Miles Brundage leaves OpenAI

On ne va plus tenir la liste de tous les départs de OpenAI mais ça se confirme, le projet “non-profit” et sensible aux risques de l’IA sur notre monde n’est vraiment plus d’actualité. Maintenant, ils perdent l’un des responsables des red team (qui testent la sécurité des modèles) qui dit poliment, je ne sers plus à rien… Décidément une semaine sour le signe de la sécurité des IA.

Sabotage evaluations for frontier models

Beaucoup de sentiments contradictoires à la lecture de cette page d’Anthropic le créateur du modèle Claude. Ils rappellent que dans le nucléaire ou l’automobile, on ne peut pas sortir un modèle sans tester sa dangerosité. Mais c’est fait par de la régulation dans ces secteurs. Dans le monde l’IA, les fournisseurs de modèles s’arrangent comme ils veulent. Alors oui, c’est bien que Anthropic partage ses mesures de contrôle, mais est-ce vraiment à lui de le faire ? Et une semaine avant d’annoncer Claude 3.5 qui prend le contrôle de votre ordinateur pour agir dans le monde physique…