‘Forgetting’ techniques in AI impacts efficiency

‘

• De nouvelles recherches montrent que les techniques populaires d'« oubli » qui permettent aux modèles d'IA d'oublier des données indésirables spécifiques peuvent également dégrader considérablement les performances des modèles, les rendant parfois inutilisables.
• Les chercheurs notent qu'il n'existe actuellement aucune méthode d'« oubli » efficace qui permette aux modèles d'oublier des données spécifiques sans une perte significative d'utilité du modèle.

NOTRE AVIS
Les techniques d'« oubli » pour les modèles d'IA sont conçues pour leur faire oublier des informations spécifiques indésirables apprises lors de l'entraînement, telles que des données privées sensibles ou du matériel protégé par le droit d'auteur. L'étude constate que les techniques actuelles d'« oubli » peuvent nuire à leur capacité à répondre à des questions de base, entraînant une baisse des performances du modèle. Les chercheurs concluent qu'il n'existe actuellement aucune méthode d'« oubli » efficace permettant aux modèles d'oublier des données spécifiques sans une perte significative d'utilité du modèle.
-Rae Li, journaliste BTW Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

Ce qui s'est passé

« Oubli » Les techniques d'« oubli » dans les modèles d'IA permettent au modèle d'oublier des informations spécifiques indésirables apprises à partir des données d'entraînement, telles que des données privées sensibles ou du matériel protégé par le droit d'auteur. Les chercheurs constatent que bien que ces techniques puissent amener les modèles à oublier certaines informations, elles peuvent également nuire aux performances du modèle, notamment en ce qui concerne les réponses à des questions de base. L'étude utilise un test de référence appelé MUSE pour évaluer l'effet d'« oubli » de différents algorithmes, et constate que bien que ces techniques aient permis aux modèles d'oublier des informations spécifiques, elles réduisent également l'utilité globale des modèles.

L'étude, menée par des chercheurs de l'Université de Washington, de l'Université de Princeton, de l'Université de Chicago, de l'Université de Californie du Sud et de Google, teste huit algorithmes publiquement disponibles et constate que ces techniques d'« oubli » permettent aux modèles d'oublier des données spécifiques, comme les livres Harry Potter, tout en affectant l'acquisition de connaissances pertinentes par les modèles. Les chercheurs notent que la conception de méthodes d'oubli efficaces est un défi car les connaissances sont entremêlées dans le modèle. Par exemple, un modèle peut avoir appris à la fois les livres Harry Potter et le contenu gratuit du wiki Harry Potter, et lorsqu'on tente de supprimer les livres Harry Potter, cela influencera également les connaissances du modèle sur le wiki Harry Potter. Les chercheurs pensent qu'une solution à ce problème n'a pas encore été trouvée et que des recherches supplémentaires sont nécessaires.

Lire aussi: À quoi servent les salles de serveurs et leurs principaux fournisseurs ?

Lire aussi: La percée de HP dans les solutions d'IA accessibles

Pourquoi c'est important

Avec l'adoption généralisée de la technologie de l'IA, il est devenu essentiel de savoir comment gérer les informations sensibles dans les données d'entraînement. Les techniques d'« oubli » sont conçues pour permettre aux modèles d'IA de supprimer ou d'oublier des informations spécifiques de leurs données d'entraînement, ce qui est important en termes de protection de la vie privée, de conformité aux lois sur le droit d'auteur et de réponse aux demandes de suppression de données. Voir aussi: Association ECHOES.

Cependant, l'étude suggère que les techniques d'« oubli » existantes, bien qu'elles permettent aux modèles d'IA d'oublier des informations indésirables, peuvent nuire aux performances du modèle, en particulier sa capacité à répondre à des questions de base. Cela suggère que bien que les techniques d'« oubli » soient théoriquement attrayantes, elles peuvent avoir des conséquences imprévues qui affectent la fiabilité et l'utilité des modèles d'IA. L'importance de ce message est donc qu'il souligne la nécessité de recherches et d'innovations plus approfondies dans le développement et la mise en œuvre des technologies d'« oubli » pour garantir que les systèmes d'IA restent efficaces et précis. Voir aussi: Département IT - Athlok.