Резюме
- В заявлениях о возможностях следует отделять широкий охват задач от надёжности рассуждений, памяти, самостоятельности и адаптации.
- Для оценки нужны незнакомые задачи, меняющиеся условия, учёт цены ошибок и независимое воспроизведение.
Идея универсального ИИ описывает возможности в разных областях, а не превосходство в одной узкой задаче. Современные модели могут казаться универсальными, поскольку один интерфейс обращается ко множеству усвоенных закономерностей, однако эта широта может исчезать при новых правилах, нехватке контекста или продолжительной работе. Разработчикам и покупателям следует публиковать границы возможностей, меры контроля загрязнения данных, требования к ресурсам и последствия ошибок. Следующим полезным доказательством станет независимая оценка на действительно незнакомых задачах, включая запросы, которые система должна отклонить или вернуть.
Метка должна следовать за продемонстрированным переносом знаний и контролем, а не опережать их.
