跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 4 回复
  • 842 浏览

这开源项目有点猛

参与讨论

刚刷到贴吧有人晒本地跑的实时翻译演示,延迟低得离谱。试了下 OnnxMT,把模型量化后部署,比那些收费API稳定多了,关键是数据不出域,适合处理敏感业务场景。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

4s 条评论

  1. 设计稿又改了
    设计稿又改了 成长8,677

    蹲个完整部署教程?OnnxMT 文档有点散,刚试了 OnnxMT-PyTorch,量化版容易报错,求个稳的 Docker 镜像地址。

  2. 不测不信邪
    不测不信邪 绽放15.7k
    引用 设计稿又改了

    蹲个完整部署教程?OnnxMT 文档有点散,刚试了 OnnxMT-PyTorch,量化版容易报错,求个稳的 Docker 镜像地址。

    别折腾PyTorch源码了,直接拉这个构建好的镜像省心:akshay2304/onnxmt。我跑了一遍,数字就这样,稳定不少。

  3. 运维祭天
    运维祭天 绽放14.1k
    引用 设计稿又改了

    蹲个完整部署教程?OnnxMT 文档有点散,刚试了 OnnxMT-PyTorch,量化版容易报错,求个稳的 Docker 镜像地址。

    @设计稿又改了 别折腾源码了,直接拉 akshay2304/onnxmt 这个镜像就行。我跑下来很稳,还能拿这个仓库 OnnxMT GitHub 看文档,省事儿。

  4. 平替猎人
    平替猎人 成长10.5k
    引用 设计稿又改了

    蹲个完整部署教程?OnnxMT 文档有点散,刚试了 OnnxMT-PyTorch,量化版容易报错,求个稳的 Docker 镜像地址。

    OnnxMT 的 PTQ 量化确实容易崩,直接上 INT8 动态校准更稳。Xenova/onnx-mt 的 HuggingFace 转换脚本支持自动导出量化后的 ONNX 模型,免去手动调参。跑下来延迟压到了 15ms 以内,比原版 PyTorch 快不少,链接在这。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.