• Метод Thermometer предназначен для калибровки больших языковых моделей (LLM), чтобы они не проявляли излишней самоуверенности в своих прогнозах, особенно когда те ошибочны.
  • Одна из главных целей Thermometer — дать пользователям чёткое указание на то, точен ответ модели или нет.

НАШЕ МНЕНИЕ
Техника Thermometer может повысить точность больших языковых моделей (LLM), гарантируя, что их прогнозы хорошо откалиброваны и согласованы с уровнями уверенности. Thermometer позволяет калибровать LLM для новых задач без необходимости в размеченных наборах данных, специфичных для задачи.
-Lia XU, журналист BTW

Что произошло

Исследователи из MIT и MIT-IBM Watson AI Lab разработали метод калибровки под названиемThermometer, специально предназначенный для больших языковых моделей (LLM), чтобы повысить их точность и эффективность калибровки. Традиционные методы калибровки не подходили для больших языковых моделей из-за разнообразия их применений, поэтому потребовался специализированный подход, такой как Thermometer.

«С помощью Thermometer мы хотим дать пользователю чёткий сигнал о том, точен ответ модели или нет, отражающий неопределённость модели, чтобы он знал, можно ли этой модели доверять», — объясняетMaohao Shen, аспирант по электротехнике и компьютерным наукам (EECS) и ведущий автор статьи о Thermometer.

Thermometer требует меньше вычислительных мощностей, сохраняя при этом точность модели и улучшая калибровку для новых задач. Он эффективнее других методов и помогает не допускать, чтобы большие языковые модели были чрезмерно самоуверенны в неверных прогнозах или недостаточно уверены в верных, помогая пользователям выявлять потенциальные сбои модели.

Читайте также:BNP Paribas заключает партнёрство с Mistral AI для внедрения LLM

Читайте также:Global Telco AI Alliance создаёт совместное предприятие для многоязычной телеком-LLM

Почему это важно

Thermometer крайне важен для обеспечения хорошей калибровки моделей ИИ и снижения риска развёртывания излишне самоуверенных моделей, которые дают неверные прогнозы. Он помогает пользователям выявлять сценарии, в которых уверенность модели не соответствует её точности, предотвращая потенциальные сбои в реальных приложениях больших языковых моделей.

Этот метод позволяет калибровать LLM для новых задач без необходимости в размеченных наборах данных, специфичных для конкретной задачи, что делает его универсальным и способным эффективно справляться с самыми разными применениями. Улучшение калибровки LLM также гарантирует, что модели ИИ хорошо подходят для развёртывания в реальных сценариях, что может снизить риск ошибок и повысить общую производительность.

Исследователи планируют усовершенствовать Thermometer для более сложной генерации текста с более крупными моделями и понять, как эффективно обучать его на разнообразных наборах данных. Это поможет компьютеру создавать более качественные и разнообразные тексты в будущем.