НАШЕ МНЕНИЕ
Zyphra Zamba2-2.7B меняет правила игры в ИИ: повышает скорость и эффективность, одновременно снижая нагрузку на память. Это как электромобили Tesla — больше мощности при меньших затратах ресурсов. Благодаря инновационным техникам это настоящий ниндзя среди языковых моделей, идеальный для сред с ограниченными ресурсами. Сниженная задержка делает его идеальным для периферийных вычислений. А публикация в формате open source открывает разработчикам по всему миру простор для творчества.
— Miurio huang, журналист BTW

Что произошло

Zyphra, базирующаяся в Пало-Альто ИИ-компания, специализирующаяся на вероятностных вычислениях, запустила свою последнюю разработку — Zamba2-2.7B. Новаякомпактная языковая модель (SLM)обещает значительный прогресс в скорости и эффективности: она работает вдвое быстрее и снижает нагрузку на память на 27 % по сравнению с предыдущими моделями. Обученная на обширном массиве данных объёмом около 3 триллионов токенов из собственных источников Zyphra,Zamba2-2.7Bсравнялась по возможностям с более крупными моделями, такими как Zamba1-7B и другие модели на 7 миллиардов параметров, обеспечивая высокую производительность в компактном формате.

Zamba2-2.7B от Zyphra задуман как привлекательное решение для компаний, исследователей и разработчиков: передовые возможности сочетаются в нём со сниженными требованиями к вычислительным ресурсам. Модель использует инновационные техники, включая схему разделённого внимания в сочетании с LoRA-проекторами на общих MLP-блоках, что повышает её способность эффективно справляться со сложными задачами. Кроме того, задержка генерации у неё в 1,29 раза ниже, чем у модели Phi3 от Microsoft, что делает её жизнеспособным вариантом для устройств с ограниченным объёмом памяти и приложений, требующих плавного и непрерывного взаимодействия.

Читайте также:ИИ-система Microsoft «SpreadsheetLLM» повышает продуктивность компаний

Читайте также:DeepL запускает новую LLM для бизнес-пользователей

Почему это важно

Zamba2-2.7B — это шаг вперёд в технологии компактных языковых моделей: высокая производительность при сниженном потреблении ресурсов. Благодаря эффективности модель идеально подходит для развёртывания в средах с ограниченной вычислительной мощностью и объёмом памяти, а её расширенные функции обеспечивают высокую точность и релевантность для конкретных задач. Публикация модели в открытом доступе на Hugging Face с реализацией на чистом PyTorch позволяет исследователям и разработчикам легко интегрировать и широко использовать её возможности.

Релиз Zamba2-2.7B опирается на предыдущий успех Zyphra с открытой моделью Zamba, которая показала более высокую производительность, чем конкуренты вроде LLaMA 1 и 2 и OLMo-7B. Предлагая экономичную и производительную альтернативу, Zyphra расширяет границы возможностей компактных языковых моделей, способствуя более широкому внедрению и инновациям в разных отраслях. Достижения Zamba2-2.7B подчёркивают растущую тенденцию оптимизации ИИ-моделей в пользу эффективности без ущерба для возможностей, отвечая одновременно на проблемы производительности и экологические вопросы, связанные с развёртыванием ИИ.