跳到内容

早上好,祝你今天高效顺利。

  • 0 回复
  • 122 浏览

把老笔记本改成本地推理机,居然能跑

参与讨论

家里那台吃灰的旧本子,8G 内存,闲着也是闲着,翻了翻发现个轻量推理框架,专门对付这种低配机器。

项目在这:ggerganov/llama.cpp,直接编译或者下预编译包,挂个量化过的 gguf 权重就能跑,CPU 也不挑。就是编译那步第一次卡在 cmake 版本上,升级完就顺了。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.