Meta випустила ШІ-модель, яка працює локально на комп’ютері та не потребує хмарних сервісів

Meta представила Muse Glimmer – модель штучного інтелекту з відкритими вагами, яку можна запускати безпосередньо на персональному комп'ютері без постійного підключення до хмарних сервісів. Модель має 30 млрд параметрів і розроблена підрозділом Meta Superintelligence Labs. Вона поширюється за ліцензією Apache 2.0, що дозволяє завантажувати, модифікувати та використовувати її у власних проєктах.

Який комп'ютер потрібен Muse Glimmer може працювати на Mac або PC з однією споживчою відеокартою. У повній точності модель потребувала б понад 55 ГБ пам'яті, однак після 4-бітного квантування її розмір вдалося зменшити до менш ніж 20 ГБ. Для запуску моделі разом із компонентами обробки зображень знадобиться система з 24-32 ГБ доступної пам'яті.

Meta тестувала її, зокрема, на Nvidia RTX 5090, Apple M5 Max і M4 Max. Що вміє Muse Glimmer Модель призначена насамперед для агентних завдань: вона може складати план дій, виконувати багатокрокові операції, використовувати зовнішні інструменти та відновлювати роботу після невдалих викликів. Muse Glimmer підтримує роботу з текстом і зображеннями, може аналізувати документи, графіки та знімки екрана, писати програмний код і виконувати адміністративні завдання.

Навчальні дані охоплюють понад 100 мов. Модель створили методом дистиляції на основі потужнішої системи Muse Spark. Ваги Muse Glimmer вже опублікували на Hugging Face, а підтримку llama.cpp, MLX, ExecuTorch, Ollama та LM Studio планують додати найближчим часом.

За матеріалами: Business Insider, Fortune India