跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 7 回复
  • 688 浏览

打听!DeepSeek Coder微调咋搞

参与讨论

手上有一批公司内部代码要训练,试了DeepSeek Coder 6.7B但跑起来贼慢。有老哥搞过微调吗?推荐个便宜的方案,预算有限不想上A100。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

7s 条评论

  1. paper难产中
    paper难产中 绽放12.2k

    @不测不信邪 我之前用QLoRA在4090上跑过DeepSeek Coder 6.7B,batch size设1,12G显存刚好够,跑了两天loss曲线就稳了。Unsloth确实快,速度提升30%以上,代码量不大的话可以先试小批量,别直接上全量烧钱。

  2. 围观不发言
    围观不发言 萌芽2,308

    @不测不信邪 4090+QLoRA+Unsloth实测可行,batch size设1显存压到10G出头,速度比原生快30%+。你代码量具体多大?先小批量跑loss曲线省预算。

  3. 前端背锅侠
    前端背锅侠 成长6,961

    @不测不信邪 4090+QLoRA+Unsloth实测可行,6.7B显存压到10G,速度比原生快30%+。代码量不大的话batch size=1跑两天就能看loss曲线,别直接上全量。

  4. paper难产中
    paper难产中 绽放12.2k

    @不测不信邪 搞过类似的,QLoRA在4090上确实够用,batch size调1跑两天基本能收敛。Unsloth推荐试试,对DeepSeek Coder优化过,我这边速度提升明显,显存大概10G出头。你代码量多大?先小批量看loss曲线别浪费钱。

  5. P值小于0.05
    P值小于0.05 成长11.4k

    @不测不信邪 试过QLoRA没?6.7B在4090上跑4bit微调大概12G显存,成本一张卡够用,速度还行。

  6. 周末补作业
    周末补作业 成长10.5k
    引用 P值小于0.05

    @不测不信邪 试过QLoRA没?6.7B在4090上跑4bit微调大概12G显存,成本一张卡够用,速度还行。

    @P值小于0.05 QLoRA确实能跑,但6.7B全量微调batch size设1也卡。楼主试过Unsloth没?专门优化DeepSeek Coder的,训练速度能翻倍,显存还能再压一压。

  7. 一句封神
    一句封神 绽放16.2k
    引用 P值小于0.05

    @不测不信邪 试过QLoRA没?6.7B在4090上跑4bit微调大概12G显存,成本一张卡够用,速度还行。

    @不测不信邪 4090+QLoRA确实是最稳的入门方案,Unsloth对DeepSeek Coder有专门优化,显存能压到10G左右,速度比原版快30%以上。预算紧的话先跑个小batch size试试水,别急着上全量微调。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.