Anthropic plans to fund new AI benchmarks

• Dévoilé lundi, Anthropic a lancé un nouveau programme visant à financer le développement de nouveaux benchmarks capables d’évaluer les performances et l’impact des modèles d’IA.
• Les nouveaux benchmarks qu’Anthropic espère créer se concentrent davantage sur la sécurité et l’impact social de l’intelligence artificielle, mais compte tenu des ambitions commerciales de l’entreprise dans la concurrence de l’IA, ses actions peuvent avoir d’autres objectifs.

NOTRE AVIS
Anthropic a lancé un programme de développement de benchmarks d’IA, finançant des organisations tierces pour évaluer les performances et l’impact des modèles, dans le but d’améliorer la sécurité de l’IA. Cependant, ses ambitions commerciales sont discutables et il existe des points de vue divergents sur la perception des risques liés à l’IA. Bien que les efforts soient louables, la portée universelle de ces benchmarks reste à observer et leur valeur doit être continuellement évaluée.
–Jasmine Zhang, journaliste BTW Voir aussi: La FCC soutient les constructeurs de fibre avec des limites de permis.

Ce qui s’est passé

Anthropic a annoncé le lancement d’un programme visant à financer le développement de nouveaux tests de référence pour évaluer les performances et l’impact des modèles d’IA. Le plan a été annoncé lundi et fournira un soutien financier aux organisations tierces capables de mesurer efficacement les capacités avancées des modèles d’IA.

Anthropic a déclaré sur son blog officiel que cet investissement vise à renforcer l’ensemble du domaine de la sécurité de l’IA et à fournir des outils précieux bénéficiant à tout l’écosystème. Le développement d’évaluations de haute qualité liées à la sécurité reste difficile et la demande dépasse largement l’offre. Les benchmarks d’IA actuels présentent des lacunes qui rendent difficile la réflexion de l’utilisation réelle du système par les gens ordinaires, et il est également discutable de savoir si certains anciens tests de référence ont réellement mesuré le contenu revendiqué. Voir aussi: Ofcom révèle les lacunes de couverture mobile sur les trains britanniques.

La solution proposée par Anthropic consiste à créer des benchmarks exigeants axés sur la sécurité de l’IA et l’impact social, grâce à de nouveaux outils, infrastructures et méthodes. L’entreprise appelle spécifiquement au développement et à l’évaluation de modèles pour tester les capacités de cyberattaques, d’amélioration des armes de destruction massive et de manipulation ou de tromperie des humains. Pour les risques liés à l’IA en matière de sécurité nationale et de défense, Anthropic a promis de développer un « système d’alerte précoce », mais n’a pas divulgué de détails précis dans le blog. Voir aussi: L'UE réécrit les règles de souveraineté de l'infrastructure IA.

À lire également: Schneider et NVIDIA vont construire une conception de centre de données ‘benchmark’ pour l’IA

À lire également: Anthropic affirme que son dernier modèle est le meilleur de sa catégorie

Pourquoi c’est important

À l’heure actuelle, la recherche, le développement et la réglementation de l’intelligence artificielle sont tous dans une phase de développement rapide. Les efforts déployés par Anthropic pour soutenir les nouveaux benchmarks d’IA sont novateurs et, dans une certaine mesure, sans contrepartie, ce qui est certainement louable. Voir aussi: L'UE évince les opérateurs satellites américains du spectre.

Cependant, il convient de noter que compte tenu des ambitions commerciales de l’entreprise dans la concurrence de l’intelligence artificielle, nous devons rester sceptiques quant aux nouveaux benchmarks fournis par Anthropic. Voir aussi: La FCC impose des licences pour les points d'atterrissage des câbles sous-marins aux États-Unis.

Certaines personnes dans la communauté de l’intelligence artificielle contestent également les risques « catastrophiques » et « trompeurs » de l’intelligence artificielle évoqués par Anthropic. De nombreux experts soutiennent qu’il y a peu de preuves suggérant que l’intelligence artificielle acquerra la capacité de mettre fin au monde et de surpasser l’humanité à court terme. Par conséquent, il reste encore matière à discussion pour savoir si les efforts déployés par Anthropic pour créer de nouveaux benchmarks d’IA ont une portée universelle, si leurs actions ont un intérêt égoïste à obtenir des bénéfices, et si les résultats de détection des nouveaux benchmarks ont une valeur de référence.