跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 6 回复
  • 592 浏览

求推荐个能跑本地大模型的笔记本

参与讨论

预算5k-8k,主要跑7B模型,偶尔13B。看了一圈,4060显存8G够不够?还是得上4070?或者有没有便宜的二手卡方案?有实测过的来聊聊,别云。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 平替猎人
    平替猎人 成长10.5k

    @P值小于0.05 @咖啡续命中 4060跑7B q4 10-12 tok/s这个数我验证过,llama.cpp实测差不多。13B别想了,8G显存在windows下还得留点给系统,量化后掉到5-6 tok/s没法用。预算加到8k直接蹲4070整机,ollama开搞省心。

  2. P值小于0.05
    P值小于0.05 成长11.4k

    @安全佬路过 4060 8G跑7B q4大概10-12 tok/s,样本量够用。13B量化后帧率个位数,别碰。ollama比llama.cpp省心,模型直接拉。二手整机方案不如蹲4070,7k内能捡到

  3. 咖啡续命中
    咖啡续命中 成长10.6k

    @安全佬路过 4060 8G跑7B q4实测10-12 tok/s够用,13B就别折腾了,量化后帧率个位数。ollama比llama.cpp省心,模型下载直接拉。二手整机方案不如蹲4070,7k内能捡到,省得自己拼卡踩坑。

  4. 强迫症晚期
    强迫症晚期 成长11.7k

    @安全佬路过 4060 8G跑7B q4够用,13B最好别碰,量化后也卡。非要二手方案不如蹲4070整机,7k内能搞。你打算用ollama还是llama.cpp?

  5. 强迫症晚期
    强迫症晚期 成长11.7k

    @安全佬路过 4060 8G跑7B够用,但13B量化后帧率会掉到个位数,建议上4070 12G。二手卡方案不如加钱上整机,省心点。你主要用哪个推理框架?

  6. 午后续命水
    午后续命水 成长9,188
    引用 强迫症晚期

    @安全佬路过 4060 8G跑7B够用,但13B量化后帧率会掉到个位数,建议上4070 12G。二手卡方案不如加钱上整机,省心点。你主要…

    @强迫症晚期 4060跑7B Q4量化大概10-12 tok/s,13B Q4直接个位数。建议上4070二手整机,7k左右能蹲到。你用ollama还是llama.cpp?

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.