• 新研究发现，流行的“遗忘”技术在使 AI 模型忘记特定不良数据的同时，也可能显著降低模型的性能，有时甚至使其无法使用。
  • 研究人员指出，目前尚无有效的“遗忘”方法能使模型忘记特定数据而不会显著丧失模型效用。

本刊观点
AI 模型的“遗忘”技术旨在使 AI 模型忘记训练数据中学到的特定且不需要的信息，例如敏感私人数据或受版权保护的材料。研究发现，当前的“遗忘”技术可能会损害模型回答基本问题的能力，导致模型性能下降。研究人员得出结论，目前尚无有效的“遗忘”方法能使模型忘记特定数据而不会显著丧失模型效用。
——Rae Li，BTW 记者

发生了什么？

“遗忘”技术在 AI 模型中的应用使模型能够忘记训练数据中学到的特定且不需要的信息，例如敏感私人数据或受版权保护的材料。研究人员发现，虽然这些技术可以使模型忘记某些信息，但它们也可能损害模型性能，尤其是在回答基本问题时。该研究使用名为 MUSE 的基准测试来评估不同算法的“遗忘”效果，发现虽然这些技术使模型忘记了特定信息，但它们也降低了模型的整体实用性。

这项由华盛顿大学、普林斯顿大学、芝加哥大学、南加州大学和谷歌的研究人员进行的研究，测试了八种不同的公开可用算法，发现这些“遗忘”技术使模型忘记了特定数据，例如《哈利·波特》书籍，同时影响了模型获取相关知识的能力。研究人员指出，设计有效的遗忘方法是一项挑战，因为知识在模型中是相互交织的。例如，一个模型可能同时学习了《哈利·波特》书籍和哈利·波特百科上的免费内容，当试图移除《哈利·波特》书籍时，这也会影响模型对哈利·波特百科的了解。研究人员认为，尚未找到解决此问题的方法，还需要进一步研究。

另请阅读：服务器机房的用途及其主要供应商是什么？

另请阅读：惠普在可访问 AI 解决方案上的突破

为何重要

随着 AI 技术的广泛采用，了解如何处理和管理训练数据中的敏感信息变得至关重要。“遗忘”技术旨在允许 AI 模型从训练数据中移除或忘记特定信息，这对于保护隐私、遵守版权法和响应数据删除请求非常重要。

然而，研究表明，现有的“遗忘”技术虽然能使 AI 模型忘记不需要的信息，但可能会损害模型性能，特别是它们回答基本问题的能力。这表明，虽然“遗忘”技术在理论上很有吸引力，但它们可能会产生意想不到的后果，影响 AI 模型的可靠性和实用性。因此，这一信息的重要性在于，它突显了在“遗忘”技术的开发和实施中进行更深入的研究和创新的必要性，以确保 AI 系统保持高效和准确。