周洪恩
（田忌赛马）端侧AI的竞争，正在从比拼参数规模和压缩比例，转向创造全球多行业需求的商业模式、模型、差异化提效的硬件解决行业惯性思维导致的多项痛点、芯片、系统、应用之间的整体配合、解决全球性经济危机时刻的某些通用问题，从做产品卖产品→为全球人民服务终身（八斗米不满升的故事） 豆包手机这类，端侧模型和端侧智能体结合，真正值得关注的是它可能带来新的交互层。能不能做好端侧智能体，不只是看模型能力强不强，而是取决于三个因素的叠加：第一，芯片和算力能承受多大成本；第二，模型在能力、速度、功耗和稳定性上的综合表现；第三，具体场景是否成立。只有这三个圈真正重叠，端侧智能体才能进入大规模应用。芯片决定能不能跑，模型决定能不能做，场景决定有没有人用。只有这三点重叠，端侧智能体才会走向大规模应用。 手机更关注功耗和系统体验，汽车更关注稳定性和交互安全，智能硬件则更看重体积、成本和本地响应。随着端侧模型能力提升、芯片性能增强，以及端云协同架构逐渐成熟，越来越多原本依赖云端的任务会被前移到本地。 尤其是上下文管理、个人数据理解、高频交互和一部分轻量级决策，都会更适合在端侧完成。端云协同一定会扩展端侧模型的能力边界，但它并不意味着所有任务都要放在端上完成。更合理的方式是，把高频、实时、隐私敏感、需要稳定交互的部分尽可能放在端侧；而更复杂、更重的推理和规划任务，则由云端来承担。端和云最终会形成一种分工协作关系。但端侧模型真正向下落地，最大的制约还是刚提到的——模型与芯片的结合。端侧场景和云端不一样，它对功耗、算力、带宽、成本和实时性都有很高要求。模型能力本身很重要，但如果没有合适的端侧AI芯片支撑，很多能力就很难以低成本、低功耗的方式进入真实设备。在更早阶段就和芯片厂商一起看模型结构、推理方式、内存占用和功耗表现。比如面壁和包括高通在内的一些端侧芯片厂商都有合作，也会在部分方向上做更前置的联合优化。推理效率：手机和汽车这类终端设备，对功耗和稳定性的要求很高。用户不会接受一个看起来能力很强，但一用就明显耗电、发热或者响应不稳定的 AI 功能。所以在效果接近的情况下，谁能用更低功耗、更低延迟把体验做出来，谁就更有优势。
发布于 湖南
分享
评论
赞
未登录
友善发言
评论
加载中
