- Dévoilé lundi, Anthropic a lancé un nouveau programme visant à financer le développement de nouveaux benchmarks capables d’évaluer les performances et l’impact des modèles d’IA.
- Les nouveaux benchmarks qu’Anthropic espère créer se concentrent davantage sur la sécurité et l’impact social de l’intelligence artificielle, mais compte tenu des ambitions commerciales de l’entreprise dans la concurrence de l’IA, ses actions peuvent avoir d’autres objectifs.
NOTRE AVIS
Anthropic a lancé un programme de développement de benchmarks d’IA, finançant des organisations tierces pour évaluer les performances et l’impact des modèles, dans le but d’améliorer la sécurité de l’IA. Cependant, ses ambitions commerciales sont discutables et il existe des points de vue divergents sur la perception des risques liés à l’IA. Bien que les efforts soient louables, la portée universelle de ces benchmarks reste à observer et leur valeur doit être continuellement évaluée.
–Jasmine Zhang, journaliste BTW
Ce qui s’est passé
Anthropic a annoncé le lancement d’un programme visant à financer le développement de nouveaux tests de référence pour évaluer les performances et l’impact des modèles d’IA. Le plan a été annoncé lundi et fournira un soutien financier aux organisations tierces capables de mesurer efficacement les capacités avancées des modèles d’IA.
Anthropic a déclaré sur son blog officiel que cet investissement vise à renforcer l’ensemble du domaine de la sécurité de l’IA et à fournir des outils précieux bénéficiant à tout l’écosystème. Le développement d’évaluations de haute qualité liées à la sécurité reste difficile et la demande dépasse largement l’offre. Les benchmarks d’IA actuels présentent des lacunes qui rendent difficile la réflexion de l’utilisation réelle du système par les gens ordinaires, et il est également discutable de savoir si certains anciens tests de référence ont réellement mesuré le contenu revendiqué.
La solution proposée par Anthropic consiste à créer des benchmarks exigeants axés sur la sécurité de l’IA et l’impact social, grâce à de nouveaux outils, infrastructures et méthodes. L’entreprise appelle spécifiquement au développement et à l’évaluation de modèles pour tester les capacités de cyberattaques, d’amélioration des armes de destruction massive et de manipulation ou de tromperie des humains. Pour les risques liés à l’IA en matière de sécurité nationale et de défense, Anthropic a promis de développer un « système d’alerte précoce », mais n’a pas divulgué de détails précis dans le blog.
À lire également: Schneider et NVIDIA vont construire une conception de centre de données ‘benchmark’ pour l’IA
À lire également: Anthropic affirme que son dernier modèle est le meilleur de sa catégorie
Pourquoi c’est important
À l’heure actuelle, la recherche, le développement et la réglementation de l’intelligence artificielle sont tous dans une phase de développement rapide. Les efforts déployés par Anthropic pour soutenir les nouveaux benchmarks d’IA sont novateurs et, dans une certaine mesure, sans contrepartie, ce qui est certainement louable.
Cependant, il convient de noter que compte tenu des ambitions commerciales de l’entreprise dans la concurrence de l’intelligence artificielle, nous devons rester sceptiques quant aux nouveaux benchmarks fournis par Anthropic.
Certaines personnes dans la communauté de l’intelligence artificielle contestent également les risques « catastrophiques » et « trompeurs » de l’intelligence artificielle évoqués par Anthropic. De nombreux experts soutiennent qu’il y a peu de preuves suggérant que l’intelligence artificielle acquerra la capacité de mettre fin au monde et de surpasser l’humanité à court terme. Par conséquent, il reste encore matière à discussion pour savoir si les efforts déployés par Anthropic pour créer de nouveaux benchmarks d’IA ont une portée universelle, si leurs actions ont un intérêt égoïste à obtenir des bénéfices, et si les résultats de détection des nouveaux benchmarks ont une valeur de référence.