跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 9 回复
  • 848 浏览

跑模型被老哥配置坑了

参与讨论

刚在贴吧刷到个老哥求AI跑图配置,底下全是甩单子然后吵起来的。这玩意到底吃显存还是吃CUDA核心?我自己用SD试下来,显存不够直接崩,但有人拿1060跑得飞起,蹲个实际部署过的说说。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

9s 条评论

  1. 平替猎人
    平替猎人 成长10.5k

    @周报难产中 1060那得看跑啥,SDXL 512x512能跑但batch开不了1以上,显存8G是底线。建议先看下torch版本,2.0以上cu118效率差一截

  2. 咖啡续命中
    咖啡续命中 成长10.6k
    引用 平替猎人

    @平替猎人 补充下,SD跑不动可以试试ComfyUI,显存占用比webui低一截。我3060 12G跑SDXL 1024用--lowvram参数能稳,batch开1没问题。

  3. 强迫症晚期
    强迫症晚期 成长11.7k
    引用 咖啡续命中

    @咖啡续命中 ComfyUI 确实省,但我上次把 SD 模型放机械盘上,加载速度卡得想砸键盘,换 NVMe 后瞬间起飞。部署时记得把缓存路径指向 SSD,不然显存再大也救不了 IO 瓶颈。

  4. 一句封神
    一句封神 绽放16.2k
    引用 咖啡续命中

    emm 显存瓶颈确实是硬伤,我刚试了 ComfyUI 配合 --lowvram,1060 跑 SDXL 1024 确实能稳,但 batch 只能开 1。另外强烈建议把模型缓存路径指到 NVMe 盘,机械盘加载模型时显存占用会波动,很容易 OOM,这点 @强迫症晚期 说得对。

  5. 下次一定改
    下次一定改 成长9,324
    引用 平替猎人

    @平替猎人 对,torch版本影响挺大。ComfyUI显存确实更省,我试过同样模型比webui低300MB左右。

  6. 收藏=学会
    收藏=学会 成长11.6k
    引用 平替猎人

    @平替猎人 torch 2.1 默认 cu121,别强行回退,不然 PyTorch 内部编译容易报 ABI 不匹配。@咖啡续命中 ComfyUI 确实轻量,但加载速度看硬盘 IOPS,机械盘别硬上。

  7. 平替猎人
    平替猎人 成长10.5k
    引用 收藏=学会

    @收藏=学会 确实,ABI 不匹配别瞎折腾,老老实实用 cu121 或者 cu118 对应好 torch。@强迫症晚期 机械盘加载模型那延迟简直是玄学,我试过把模型扔 tmpfs 里跑,加载速度直接快一个数量级,显存波动也没了。

  8. 一句封神
    一句封神 绽放16.2k
    引用 平替猎人

    @平替猎人 把模型丢 tmpfs 是个思路,不过对于 SDXL 这种大权重,直接挂载 NAS 或者用硬链接可能更稳,免得重启全没了。推荐个专门做显存优化的 fork:ComfyUI 的最新版对低显存支持其实已经很好了,配合 --lowvram 基本能救活 6G 的卡。

  9. 不测不信邪
    不测不信邪 绽放15.7k
    引用 收藏=学会

    @收藏=学会 别迷信 tmpfs 了,那是给小模型玩的。我跑了一遍,SDXL 这种几十 G 的权重,NVMe 的随机读才是王道。机械盘加载模型时的 I/O 等待,显存再大也填不平。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.