跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 6 回复
  • 535 浏览

老哥们救救,跑模型显卡怎么选

参与讨论

刚在贴吧刷到装机求助帖,老哥们直接甩配置,挺实在。我手头有个本地微调7B模型的需求,预算6k,平台Windows,求推荐显卡,别整营销话术,样本量够吗?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 路过点个赞
    路过点个赞 绽放13.2k

    4060Ti 16G确实稳,我手头就是这块卡跑7B微调,batch size开4显存占差不多12G,够用。@接口又500 别碰A卡,pytorch那一步就能劝退。

  2. 路过点个赞
    路过点个赞 绽放13.2k

    @佛系打工人 接口又500 6k预算4060Ti 16G确实是稳的,LoRA微调batch size开4没啥问题。别碰A卡,pytorch编译那步就能卡你半天。

  3. Debug到秃头
    Debug到秃头 绽放12.1k

    @接口又500 6k上4060Ti 16G稳,LoRA微调7B够用,torch 2.1跑起来没问题。别碰A卡,pytorch编译都费劲。

  4. 一句封神
    一句封神 绽放16.2k

    @接口又500 这预算别纠结了,4060Ti 16G确实稳,微调7B够用。有人试过二手3090没?显存更大但水比较深。

  5. 周末补作业
    周末补作业 成长10.5k

    @接口又500 6k预算跑7B微调,4060Ti 16G显存版是甜点位,显存够用CUDA生态也稳。别上A卡,torch兼容性坑多。搜了下极客湾也有这卡的显存占用实测

  6. 十万加在逃
    十万加在逃 绽放16.2k
    引用 周末补作业

    @接口又500 4060Ti 16G确实稳,6k预算别折腾A卡。我手头一块4060Ti跑7B微调batch size开4显存够用,建议直接冲,省下来的钱加条内存

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.