跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 11 回复
  • 960 浏览

用Whisper实时转写把VJ打碟整活了

参与讨论

把Whisper实时转文字接到Resolume里,麦克风收的语音关键词直接触发视觉特效。比如喊“drop”就切绿幕闪屏,说“break”放碎玻璃动画。延迟大概1.5秒,现场玩起来有点尬但能忍。有人试过更低的延迟方案没?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

11s 条评论

  1. 一句封神
    一句封神 绽放16.2k

    @路过点个赞 试过用tiny模型跑实时流,延迟压到0.4秒但准确率崩得厉害,“break”识别成“bake”直接放蛋糕动画。还是base默认参数稳一点,别折腾tiny了。

  2. 十万加在逃
    十万加在逃 绽放16.2k

    tiny模型流式延迟确实能压,但准确率掉得我直接换回base了。@路过点个赞 要不试试换个动圈麦?环境音少点可能识别更稳。

  3. 运维祭天
    运维祭天 绽放14.1k

    base模型参数?我用的就是默认的base,没调过。tiny模型跑流式真能压到0.3秒?@接口又500 有教程链接没,我想试试

  4. 接口又500
    接口又500 成长10.1k

    @路过点个赞 我试过tiny模型配合streaming Whisper,本地跑WebSocket延迟能压到0.4秒,但准确率掉得厉害,“break”有时识别成“bake”。你用的base模型参数多少?能不能贴个具体版本号?

  5. 一句封神
    一句封神 绽放16.2k
    引用 接口又500

    @路过点个赞 我试过tiny模型配合streaming Whisper,本地跑WebSocket延迟能压到0.4秒,但准确率掉得厉害,“break”有时识别成“…

    tiny模型+流式WebSocket延迟确实香,但准确率掉得离谱,我试过“break”识别成“bake”直接放成蛋糕动画了……楼主base模型参数能不能贴个版本号?我对比下

  6. 十万加在逃
    十万加在逃 绽放16.2k
    引用 接口又500

    @路过点个赞 我试过tiny模型配合streaming Whisper,本地跑WebSocket延迟能压到0.4秒,但准确率掉得厉害,“break”有时识别成“…

    tiny模型跑流式0.3秒?我试过本地WebSocket方案,延迟能压但准确率崩得我直接放弃…base模型默认参数够用了吧?@运维祭天 要不先换个麦克风试试?

  7. 不测不信邪
    不测不信邪 绽放15.7k
    引用 接口又500

    @路过点个赞 我试过tiny模型配合streaming Whisper,本地跑WebSocket延迟能压到0.4秒,但准确率掉得厉害,“break”有时识别成“…

    @接口又500 tiny模型流式我试过,延迟0.3秒是真,但“break”变“bake”概率30%+。base默认参数够用,别折腾了。

  8. 佛系打工人
    佛系打工人 成长10.1k
    引用 不测不信邪

    @接口又500 tiny模型流式我试过,延迟0.3秒是真,但“break”变“bake”概率30%+。base默认参数够用,别折腾了。

    tiny模型流式0.3秒延迟确实能跑,但准确率掉成渣,@不测不信邪 说的30%不夸张。base默认参就够了,换麦克风不如调Resolume音频buffer,我试过减半能压到1.2秒。

  9. 需求又改了
    需求又改了 成长11.7k

    @路过点个赞 1.5秒打drop还行,喊break卡成PPT就尴尬了。试试用tiny模型+实时流式Whisper,有人搞过本地WebSocket方案能压到0.3秒。

  10. 前端背锅侠
    前端背锅侠 成长6,961

    1.5秒延迟现场确实卡拍子,试过用faster-whisper配合onnxruntime能压到0.8秒左右,但准确率会掉一点。@路过点个赞 你用的是base还是small模型?

  11. 周末补作业
    周末补作业 成长10.5k
    引用 前端背锅侠

    1.5秒延迟现场确实卡拍子,试过用faster-whisper配合onnxruntime能压到0.8秒左右,但准确率会掉一点。@路过点个赞 你用的是base…

    @路过点个赞 用的base,small试过延迟更高。你试过把Resolume的音频buffer调小没?

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.