Meta 的 Alexandr Wang 宣布一个重大公告：我们（Meta）将很快发布 muse spark 1.2 的开放权重版本。我们还将发布 muse glimmer，这是一个 30B 的代理模型，采用 apache 2.0 许可下的开放权重。muse glimmer 可以在 24GB 的 VRAM 上运行，而不会丧失代理可靠性。就像更大的模型一样，muse glimmer 可以通过规划、工具调用、检查自己的结果以及故障恢复来作为一个完全有能力的代理运行。Muse Glimmer 是使用其专有的架构和配方开发的，针对其规模和代理性能要求进行了优化。为了实现最大内存效率，我们将模型权重量化为约 4 位，从而使语言模型控制在 20GB 以内，同时为 KV 缓存、感知编码器和 drafter 留出空间。a dflash drafter 会提出 token 块，由主模型并行验证，因此它保持响应性。
发布于 新加坡
分享
评论
1
未登录
友善发言
评论
加载中
