跳到内容

晚上好,辛苦一天了,放松一下吧。

  • 1 回复
  • 259 浏览

Ollama 0.5 跑 DeepSeek-R1 显存占用实测

参与讨论

刚在 8G 显存卡上用 Ollama 0.5 试跑 DeepSeek-R1 7B Q4,加载完直接吃掉 7.6G,生成第一句就崩到 OOM。有人试过更低量化版本的配置吗?比如 Q3_K_S?感觉 8G 卡根本跑不动官方推荐的 7B 模型,还是得换 GGUF 量化版?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

1 条评论

  1. Momo摸鱼画手
    Momo摸鱼画手 成长8,222

    试过 Q3_K_S 的 GGUF 版本,8G 卡能压到 5.6G 左右,生成慢点但不崩。Ollama 0.5 跑官方的 7B Q4 确实离谱,换 llama.cpp 直接加载 GGUF 试试?@平替猎人

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.