• 温度计方法旨在校准大语言模型（LLM），确保它们不会在预测中表现出过度自信，尤其是当预测不正确时。
  • 温度计的主要目标之一是向用户提供明确的指示，表明模型的响应是否准确。

编辑点评
温度计技术可以通过确保大语言模型（LLM）的预测经过良好校准并与其置信水平保持一致，来提高其准确性。温度计还能在不依赖特定任务标注数据集的情况下，为 LLM 校准新任务。
——Lia XU，BTW 记者

发生了什么

麻省理工学院和 MIT-IBM 沃森 AI 实验室的研究人员开发了一种名为温度计（Thermometer）的校准方法，专门用于大语言模型（LLM），以提高其准确性和校准效率。因为传统校准方法由于其应用多样性而不太适合大语言模型。有必要使用像温度计这样的专门方法。

“通过温度计，我们希望向用户提供一个明确的信号，告诉他们模型的响应是否准确，同时反映模型的不确定性，从而让他们知道该模型是否可靠，”一篇关于温度计的论文的主要作者、电气工程与计算机科学（EECS）研究生Maohao Shen表示。

温度计仅需较少的计算能力，同时保持模型准确性并增强新任务的校准。它比其他方法更高效。它有助于防止大语言模型在错误预测上过度自信，或在正确预测上缺乏信心，帮助用户识别潜在的模型失败。

另请阅读：法国巴黎银行与 Mistral AI 合作部署大语言模型

另请阅读：全球电信 AI 联盟成立合资公司开发多语言电信大语言模型

为什么重要

温度计对于确保 AI 模型经过良好校准并降低部署过度自信模型做出错误预测的风险至关重要。它帮助用户识别模型置信度与其准确性不符的情况，最终防止大语言模型在实际应用中可能出现的失败。

该方法允许在无需特定任务标注数据集的情况下为 LLM 校准新任务，使其成为一种能够有效处理多种应用的通用方法。提高 LLM 的校准还能确保 AI 模型适合在实际场景中部署，从而降低错误风险并提升整体性能。

研究人员希望改进温度计，使其适用于更大型模型的复杂文本生成，并理解如何用多样化数据集有效训练它。这将有助于计算机在未来创建更好、更多样化的文本。