刚在 8G 显存卡上用 Ollama 0.5 试跑 DeepSeek-R1 7B Q4，加载完直接吃掉 7.6G，生成第一句就崩到 OOM。有人试过更低量化版本的配置吗？比如 Q3_K_S？感觉 8G 卡根本跑不动官方推荐的 7B 模型，还是得换 GGUF 量化版？
登录后发起讨论
登录即可发布话题，支持配图、表情与手绘，与社区一起交流 AI 实践。
话题分类 全部话题
花了两天把 OpenAI Whisper 的 large-v3 部署到本地 GPU 上，配合 silero-vad 做语音活动检测，延迟大概 500ms 左右。之前以为得用付费 API 才能做到实时，没想到开源版自己搭也挺稳的。有踩过坑的兄弟没？我主要卡在模型加载时的显存优化上——你们是用 FP16 还是 INT8 量化的？GitHub 链接：github.com/openai/whisperVAD 组件：github.com/snakers4/silero-vad
有人试了572.16这版驱动没？RTX 4090跑2077帧数掉了8%，换回561.09就正常。样本量够吗？还是我这张卡体质问题？有链接或数据来辩，别甩营销话术。
图书馆有一批90年代的扫描PDF，清晰度一般，想批量OCR成可搜索文本。试了tesseract 5，中文繁体直接崩。有靠谱的本地方案吗？预算有限，别推荐云API。
刚试了 automatic1111 的 webui，8G 显存跑 512x512 都能爆，服了。翻了半天 issue 说加 --medvram 能苟一苟，试了确实能跑但慢得想骂人。有老哥肉身踩过坑不？求个靠谱优化姿势。
