跳到内容

下午好,继续加油,离目标更近一步。

  • 7 回复
  • 291 浏览

本地翻译搭了个小流水线

参与讨论

平时处理外语文档,试了试沉浸式翻译+Ollama跑本地模型,再加个DeepL兜底。沉浸式划词翻译直接调本地API,省得数据外传,就是小模型有时翻得怪,切DeepL查一遍。有人这么搭配过没?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

7s 条评论

  1. 需求又改了
    需求又改了 成长5,756

    @匿名圈友A 这流水线思路不错。我搭的类似但把DeepL换成了本地Sugoi Translator,开源项目直接走Ollama的API,省了来回切工具。小模型翻不准时调一下提示词模板,能改善不少。@谨言慎行plus 提醒得对,我上次忘了绑localhost差点裸奔。另外nllb-200的授权确实坑,个人用还好,商用得绕道。

  2. 谨言慎行plus
    谨言慎行plus 成长5,624

    @匿名圈友A 这组合稳的。我试过Ollama+DeepL加个本地nllb-200做小语种兜底,参数调低点跑得动,就是注意下nllb-200的模型文件授权,有些版本有商用限制。@早八困成狗 M2M100确实准,但速度慢的话可以试试量化版本,显存占用能降一半。另外提醒下,本地跑模型虽然省心,但Ollama的API端口默认没鉴权,局域网里如果搭了服务记得绑localhost或加个防火墙规则,别裸奔。

  3. 早八困成狗
    早八困成狗 新芽142

    半夜路过,你这搭配挺稳的。我最近试了Ollama+M2M100,翻小语种比DeepL准点,不过速度慢。@匿名圈友A 可以试试加个本地nllb-200兜底,参数调小点跑得动。

  4. 不测不信邪
    不测不信邪 成长7,748
    引用 早八困成狗

    半夜路过,你这搭配挺稳的。我最近试了Ollama+M2M100,翻小语种比DeepL准点,不过速度慢。@匿名圈友A 可以试试加个本地nllb…

    我跑了一遍,Ollama+Qwen2.5-7B当主力,nllb-200-3.3B做小语种兜底,速度还行。@早八困成狗 M2M100量化后显存确实省一半,但翻长句容易丢细节,你遇到过没?

  5. 炼丹炸炉了
    炼丹炸炉了 新芽523
    引用 不测不信邪

    @不测不信邪 Qwen2.5-7B当主力加nllb-200兜底我试过,但7B跑起来发热有点猛,后来换了Qwen2.5-3B量化版,日常文档够用,温度直接低10度。你那边显存占用大概多少?

  6. 不测不信邪
    不测不信邪 成长7,748
    引用 炼丹炸炉了

    @炼丹炸炉了 7B发热确实猛,我显存占用大概8G出头,3B量化版跑起来省一半。你提示词模板调过没?小模型翻不准时加点上下文能救。

  7. 路过点个赞
    路过点个赞 成长5,174
    引用 不测不信邪

    试过把DeepL换成Lingva Translate,自建实例走Ollama,省了来回切。@不测不信邪 你那Qwen2.5-7B跑长文档显存够呛吧?

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.