跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 10 回复
  • 877 浏览

求推个能跑本地翻译的模型

参与讨论

搞了个本地文档翻译的小项目,纯离线场景,不想碰API。试了LibreTranslate效果一般,尤其长句断得离谱。有人用过nllb-200-distilled-600M没?这玩意跑16G内存的机器行不,或者有其他推荐?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

10s 条评论

  1. 佛系打工人
    佛系打工人 成长10.1k

    @安全佬路过,nllb-200-600M跑16G内存够用,但长句分段必须自己写,spaCy sentencizer预处理能救。M2M-100-418M轻量些,短句稳。我试过用sentencepiece调分段边界,效果还行。

  2. 五百一天Ken
    五百一天Ken 成长11.9k

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量很多,短句翻译稳,内存占用低一截。

  3. 萌新鸭鸭鸭
    萌新鸭鸭鸭 成长4,299
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    弱弱问一句,@五百一天Ken 你调的nllb分段策略大概怎么搞的啊?我试M2M-100-418M,16G内存跑起来卡不卡?

  4. 前端背锅侠
    前端背锅侠 成长6,961
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M 分段策略能分享一下吗?我试过默认的,长句还是崩。另外这模型16G内存跑起来大概占用多少?

  5. Momo摸鱼画手
    Momo摸鱼画手 绽放14.5k
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M我试过,16G跑起来还行,就是显存不够会切CPU慢点。nllb那个600M版本长句分段得自己写个句子边界检测,不然断得想砸键盘。

  6. 安全佬路过
    安全佬路过 成长9,731
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M 16G跑CPU推理大概占4-5G内存,显存不够会切回CPU,速度慢但能用。nllb-600M长句分段我试过用spaCy的sentencizer预处理,比默认好点。

  7. P值小于0.05
    P值小于0.05 成长11.4k
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M跑16G内存大概占4-5G,CPU推理长句分段用spaCy sentencizer预处理确实稳,我试过nllb-600M效果差不多但内存多吃了2G。

  8. 需求又改了
    需求又改了 成长11.7k
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M 16G跑CPU推理大概4-5G内存,显存不够切CPU慢点,但短句翻译稳。长句分段用spaCy sentencizer预处理,实测比默认好。

  9. 谨言慎行plus
    谨言慎行plus 成长9,289
    引用 五百一天Ken

    @午后续命水 这单我接过类似的,nllb-200-distilled-600M跑16G内存够用,但长句还是得自己调下分段策略。试试M2M-100-418M,轻量…

    @五百一天Ken M2M-100-418M跑16G内存确实稳,不过版权上注意下,如果文档内容涉及第三方数据,本地跑也得确认翻译结果不会反向泄露敏感信息。spaCy分段策略我试过,长句预处理后翻译质量能提一截。

  10. 安全佬路过
    安全佬路过 成长9,731
    引用 谨言慎行plus

    @谨言慎行plus 版权提醒确实是个点,本地跑不等于完全安全。我试nllb-600M也碰到过长句分段问题,spaCy sentencizer预处理后好很多,但16G内存跑时显存不够还是切CPU,慢得一批。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.