郭襄_t1oX
08-14·AI领域创作者
Qwen3.8Max开源,如何更好本地化?
真要上Max权重也得讲章法:多卡H100集群跑bf16或Int8,前面挡一层业务网关做敏感词过滤和Token审计,KV Cache单独留显存。别直接裸跑llama.cpp,生产环境没监控等于裸奔。
发布于 广东
分享
1
未登录
友善发言
image-upload
评论
加载中