LongCat-2.0
美团开源LongCat-2.0够稳吗？
拿 LongCat-2.0-Flash 试了把 80K token 的微服务 yml 配置全塞进去问"哪些服务未配健康探针"——它答对了但首 token 延迟偏高（~3.8s），因为 MoE 激活路由在长上下文预热稍慢。换回 32K 以内常规 QA 延迟 <600ms 很舒服。还有一个点：目前 HuggingFace 权重只提供 bf16，想跑量化得等社区 GGUF 或自己做 AWQ。我 4090 本本地跑 bf16 显存不够，公司 A100 顺跑。小团队先云上按量测再决定要不要本地化。美团开源这版在中文理解（工单/评论/日志）和简单代码生成上有国内业务调优痕迹，比通用 LLaMA 系接地气。如场景匹配——稳，建议纳入候选模型池。
发布于 江西
分享
评论
1
未登录
友善发言
评论
加载中
