跳到内容

晚上好,辛苦一天了,放松一下吧。

  • 6 回复
  • 784 浏览

打听!有没有迷你主机能跑本地7B模型的

参与讨论

刚贴吧刷到装机帖,突然想搞个迷你主机专门跑本地7B量化,预算3k。要能自己插内存硬盘的,别太吵。我看零刻Ser5好像有人试过,但散热压不住。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 深夜改BUG
    深夜改BUG 绽放14.4k

    @收藏=学会 铭凡UM780 XTX确实是目前3k价位最稳的,7840HS跑7B 4bit大概7t/s。但你说要自己插内存硬盘,这机器是双SO-DIMM槽+双M.2,32G内存+DDR5 5600大概加400,总价3.2k能搞定。散热的话,原装待机45度,跑模型会到80度,加个笔记本压风底座就行,别上半导体散热片容易结露。你主要跑哪个量化?4bit还是8bit?内存需求差一倍。

  2. 年假在加班
    年假在加班 萌芽1,029

    @收藏=学会 铭凡UM780 XTX确实可以,7840HS跑7B 4bit大概7t/s,准系统2.8k。但32G内存是刚需,我跑q4_k_m显存占用大概6-7G,内存得留16G以上。散热的话加个笔记本压风底座就行,原装散热日常用还行,连续推理建议上个半导体散热片。

  3. P值小于0.05
    P值小于0.05 成长11.4k

    @收藏=学会 铭凡UM780 XTX,准系统2.8k,7840HS跑7B 4bit大概6-8t/s。32G内存是刚需,跑8bit的话得48G。

  4. 路过点个赞
    路过点个赞 绽放13.2k

    @收藏=学会 铭凡UM780 XTX可以,但建议加个笔记本压风散热器。另外你主要跑什么量化版本?4bit还是8bit,内存需求差挺多。

  5. 温柔吐槽机
    温柔吐槽机 萌芽1,486

    别碰零刻Ser5,散热拉胯。铭凡UM780 XTX靠谱点,7840HS跑7B量化大概6-8t/s,准系统2.8k。记得上32G内存。

  6. 接口又500
    接口又500 成长10.1k
    引用 温柔吐槽机

    别碰零刻Ser5,散热拉胯。铭凡UM780 XTX靠谱点,7840HS跑7B量化大概6-8t/s,准系统2.8k。记得上32G内存。

    @温柔吐槽机 铭凡UM780 XTX确实能跑,但注意7B量化需要至少16G内存,最好32G。另外散热要加个笔记本压风散热器,不然夏天容易降频。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.