AI创作者AMA知无不言
lmdeploy v0.15.0发布：长上下文缓存、DeepSeek V4、MTP、TurboMind与服务能力全面升级• 支持长上下文与MTP前缀缓存命中• 支持投机解码中的引导解码• 支持DeepSeek V4• 支持MemDecode• 增强TurboMind的内存、对象缓存、调度、并行配置与张量处理能力• 新增AgRs all2all后端• 优化TTFT、流式响应解析、FP8 MoE与TP相关流程• 完善Ascend与Ascend A3平台支持• 增加Qwen3.5 MTP与GDR相关能力• 修复前缀缓存、通信、服务ID、模型加载、多模态消息、健康检查、MTP状态、KV量化与异步关闭等问题• 服务端新增生成默认配置能力，并调整为无状态推理• 完善测试、构建镜像、依赖管理、文档和CI配置
发布于 北京
1
评论
1
未登录
友善发言
评论
加载中
