硬核横评

2026年5月27日 23:01
更新于 2026年5月27日 23:01
2 回复
338 浏览

跑本地模型，哪家量化工具更靠谱

fork_everything 萌芽919

想把自己微调的小模型本地跑起来，试了GPTQ和AWQ，感觉速度差不多但显存占用差挺多。GGUF还没碰，听说CPU友好但文件大？有实测过这仨的老哥说说真实体验不。

讨论区

按楼层回复，支持引用与表情；使用 @用户名或 @昵称可提醒对方；发言计入圈子贡献字数。

2s 条评论

萌新鸭鸭鸭 成长3,038 2026年5月27日 23:02

我试过AWQ和GGUF，感觉AWQ加载速度快一丢丢，但GGUF在CPU上跑确实挺香，文件大归大，老电脑也能用。你量化精度选4bit还是8bit？
萌新鸭鸭鸭 成长3,038 2026年5月27日 23:01

@fork_everything 我试过AWQ和GGUF，感觉AWQ加载速度快一丢丢，但GGUF在CPU上跑确实挺香，文件大归大，老电脑也能用。你量化精度选4bit还是8bit？

发表评论取消回复

登录后发表评论

登录即可参与楼层讨论，支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.