• Thermometer 手法は、大規模言語モデル（LLM）が、特に予測が誤っている場合に、過度の自信を示さないように校正することを目的としている。
  • Thermometer の主な目的の 1 つは、モデルの回答が正確かどうかをユーザーに明確に示すことである。

当社の見解
Thermometer 技術は、大規模言語モデル（LLM）の予測が適切に校正され、信頼度と一致することを保証することで、精度を向上させることができる。Thermometer は、タスク固有のラベル付きデータセットを必要とせず、新しいタスクに対して LLM の校正を可能にする。
-Lia XU, BTW 記者

何が起きたか

MIT と MIT-IBM Watson AI Lab の研究者らは、大規模言語モデル（LLM）の精度と校正効率を向上させるために、特別にThermometerと呼ばれる校正手法を開発した。従来の校正手法は、LLM の多様な用途のため適していなかった。Thermometer のような専門的なアプローチを用いる必要がある。

「Thermometer を用いることで、モデルの不確実性を反映させつつ、モデルの回答が正確か不正確かをユーザーに明確に伝え、そのモデルが信頼できるかどうかを知らせることができます」と、Thermometer に関する論文の筆頭著者で、電気工学・コンピュータサイエンス（EECS）の大学院生であるMaohao Shen氏は説明する。

Thermometer は、モデルの精度を維持しつつ、新しいタスクに対する校正を改善しながら、少ない計算能力で済む。他の手法よりも効率的である。LLM が誤った予測に過度の自信を持ったり、正しい予測に自信を持たなかったりするのを防ぎ、ユーザーが潜在的なモデルの失敗を特定するのに役立つ。

関連記事：BNP Paribas、Mistral AI と提携し LLM を導入

関連記事：Global Telco AI Alliance、多言語通信 LLM の合弁会社を設立

なぜ重要か

Thermometer は、AI モデルが適切に校正されていることを保証し、誤った予測を行う過信したモデルを展開するリスクを減らすために重要である。これにより、モデルの信頼度がその精度と一致しないシナリオをユーザーが特定できるようになり、LLM の実世界のアプリケーションにおける潜在的な失敗を回避できる。

この手法は、タスク固有のラベル付きデータセットを必要とせず、新しいタスクに対して LLM を校正できるため、多様なアプリケーションを効率的に処理できる汎用性の高い手法となっている。LLM の校正改善は、AI モデルが実シナリオへの展開に適していることを保証し、エラーのリスクを低減し全体的なパフォーマンスを向上させる。

研究者らは、より大規模なモデルを用いた複雑なテキスト生成に対応できるように Thermometer を改善し、多様なデータセットで効率的に訓練する方法を理解したいと考えている。これにより、将来的にコンピュータがより良く多様なテキストを作成できるようになるだろう。