黄仁勋：PC产业将迎来40年来最大升级
RTX Spark最打动我的不是跑分，而是它让本地跑大模型这件事变得实用了。128GB统一内存加600GB每秒带宽，足够常驻一个200B参数的模型做推理。以前我们想本地跑个大模型，得配个几万块的台式机加32GB显存，现在轻薄本就能搞定。黄仁勋说PC会变成数字助手，我越想越觉得靠谱。做产品经理的朋友已经开始研究怎么把本地Agent嵌入工作流了，比如自动整理会议纪要、生成PRD草稿、分析用户反馈。对开发者而言，这意味着端侧AI应用开发会成为新风口，懂模型量化、ONNX Runtime、TensorRT优化的工程师，接下来会非常抢手。还没碰过本地部署的同学，建议先从ollama加llama.cpp练起。这两个工具门槛低，练熟了再接触TensorRT和vLLM优化，职业竞争力会强很多。我们公司已经在评估把部分AI应用从云端迁移到端侧的可行性，这个方向确实在加速。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
