Meta представи Muse Glimmer, иновативен AI модел с 30 милиарда параметъра, проектиран да стартира автономни AI агенти директно на обикновен лаптоп. Целта на разработчиците е била да създадат мощен модел, който същевременно не изисква значителни компютърни ресурси и може да работи локално.
За постигането на тази цел е приложена техника за дестилация на знанията от водещия модел Muse Spark. Процесът включва първоначално обучение върху оригиналните данни, последвано от обучение върху специализирани набори от данни с дълъг контекст и сложни вериги от разсъждения, и завършва с фина настройка и обучение с подсилване в области като кодиране и логика.
Моделът е способен да изпълнява дългосрочни сценарии, като действа като личен асистент. Той може автономно да работи с инструменти, като прецизно извиква функции дори при многоетапни работни процеси. Muse Glimmer притежава механизъм за възстановяване след грешка, който му позволява да диагностицира и опита отново при неуспешно извикване на инструмент.
Muse Glimmer поддържа мултимодалност, анализирайки едновременно текст и изображения чрез отделен модул за възприятие. Той също така е многоезичен, поддържайки над 100 езика, и е съвместим с популярни оркестратори на агенти като OpenClaw.
За да може модел с 30 милиарда параметъра да работи на потребителски устройства, са използвани две ключови технологии. Квантиране до 4 бита (K-Quant) намалява размера на модела до под 20 GB, позволявайки му да работи в рамките на 24 GB или 32 GB RAM или видео памет. Спекулативното декодиране чрез DFlash ускорява генерирането на текст чрез използване на спомагателна компактна мрежа.
Разработчиците обявиха, че поддръжката на Muse Glimmer скоро ще бъде интегрирана в популярни платформи и енджини като Ollama, LM Studio, Llama.cpp и други, което ще улесни достъпа му за по-широк кръг потребители.
По информация на Kaldata.
