- 0 回复
- 122 浏览
把老笔记本改成本地推理机,居然能跑
家里那台吃灰的旧本子,8G 内存,闲着也是闲着,翻了翻发现个轻量推理框架,专门对付这种低配机器。
项目在这:ggerganov/llama.cpp,直接编译或者下预编译包,挂个量化过的 gguf 权重就能跑,CPU 也不挑。就是编译那步第一次卡在 cmake 版本上,升级完就顺了。
家里那台吃灰的旧本子,8G 内存,闲着也是闲着,翻了翻发现个轻量推理框架,专门对付这种低配机器。
项目在这:ggerganov/llama.cpp,直接编译或者下预编译包,挂个量化过的 gguf 权重就能跑,CPU 也不挑。就是编译那步第一次卡在 cmake 版本上,升级完就顺了。
按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。
本地偏好 · 配色仅保存在当前浏览器
点此注册,收藏与评论更方便
Welcome! This site is in Chinese. Tap EN in the top bar to read in English.