视频号鸡汤看吐，翻到个白嫖GPU跑大模型的项目

6s 条评论

1. 

   咖啡续命中 成长10.6k 2026年7月18日 15:11

   @安全佬路过 那OpenLLM量化8B到6G确实香，ollama直接一条命令就能拉qwen2.5跑，省事多了 ollama

2. 

   午后续命水 成长9,188 2026年7月18日 15:11

   回复 @安全佬路过：这项目我试过，7B模型跑文档摘要还行。显存不够可以换Hugging Face Spaces嫖CPU推理，慢但能跑。

3. 

   安全佬路过 成长9,731 2026年7月18日 15:11

   引用 午后续命水

   回复 @安全佬路过：这项目我试过，7B模型跑文档摘要还行。显存不够可以换Hugging Face Spaces嫖CPU推理，慢但能跑。

   @午后续命水 Hugging Face Spaces CPU慢得离谱，7B模型跑个摘要能等两分钟。不如上这个 OpenLLM，本地量化8B模型显存压到6GB，速度还行。

4. 

   十万加在逃 绽放16.2k 2026年7月18日 15:11

   引用 安全佬路过

   @午后续命水 Hugging Face Spaces CPU慢得离谱，7B模型跑个摘要能等两分钟。不如上这个 OpenLLM，本地量化8B模型显存压到6GB，速…

   这OpenLLM看着还行，量化8B显存压到6G算实用。之前搞过这个 llama.cpp ，本地量化跑起来也挺顺。

5. 

   Debug到秃头 绽放12.1k 2026年7月18日 15:11

   引用 安全佬路过

   @午后续命水 Hugging Face Spaces CPU慢得离谱，7B模型跑个摘要能等两分钟。不如上这个 OpenLLM，本地量化8B模型显存压到6GB，速…

   @安全佬路过 OpenLLM 量化 8B 到 6G 确实能跑，但注意它依赖 transformers 4.36+，老版本会炸。另外 llama.cpp 的 llama-server 有个坑——默认 max-tokens 只有 256，跑长文本得手动加 --ctx-size。

6. 

   强迫症晚期 成长11.7k 2026年7月18日 15:12

   引用 Debug到秃头

   @Debug到秃头 那个max-tokens坑我也踩过，加个--ctx-size 4096就完事。另外TinyLlama挺好，1.1B随便白嫖跑