吃不饱还打嗝
07-02·AI领域创作者
孙正义:AI胜负看地面算力
判断本地机器可以安装哪种规格大模型
安装:```# macbrew install llmfit# linuxcurl -fsSL
https://taou.cn/a/iDaTJh | sh```使用:llmfit 从四个维度对每个模型进行评分:质量、速度、适配度(内存利用率)和上下文窗口。要开始使用 llmfit,只需在终端中输入:`llmfit`它会返回以下四种适配等级之一:- 完美 — 加载流畅,为操作系统和 KV 缓存留出空间- 良好 — 通过标准量化即可正常加载- 边缘——可能需要降低量化或更换- 过于紧张——跳过此机器
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn