- 1 回复
- 260 浏览
Ollama 0.5 跑 DeepSeek-R1 显存占用实测
刚在 8G 显存卡上用 Ollama 0.5 试跑 DeepSeek-R1 7B Q4,加载完直接吃掉 7.6G,生成第一句就崩到 OOM。有人试过更低量化版本的配置吗?比如 Q3_K_S?感觉 8G 卡根本跑不动官方推荐的 7B 模型,还是得换 GGUF 量化版?
刚在 8G 显存卡上用 Ollama 0.5 试跑 DeepSeek-R1 7B Q4,加载完直接吃掉 7.6G,生成第一句就崩到 OOM。有人试过更低量化版本的配置吗?比如 Q3_K_S?感觉 8G 卡根本跑不动官方推荐的 7B 模型,还是得换 GGUF 量化版?
按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。
本地偏好 · 配色仅保存在当前浏览器
点此注册,收藏与评论更方便
Welcome! This site is in Chinese. Tap EN in the top bar to read in English.
1 条评论