vllm部署fp8量化模型到A100

廿陆畵生

25-12-26 · 研发工程师

12.26 5'59 不把领导的后辈锤青了怎么获得领导的垂青？要kimi改vllm marlin量化源码适配A100不支持fp8的问题 https://taou.cn/a/KmC4KO （含今天问kimi的所有prompt和回答）从周一问到了周五。。。

vllm部署fp8量化模型到A100脉脉

END

阅读 2

声明：本文内容由脉脉用户自发贡献，部分内容可能整编自互联网，版权归原作者所有，脉脉不拥有其著作权，亦不承担相应法律责任。如果您发现有涉嫌抄袭的内容，请发邮件至maimai@taou.com，一经查实，将立刻删除涉嫌侵权内容。