有人试过把whisper跑在cpu上吗

8s 条评论

1. 

   BurnRate老王 成长11.1k 2026年6月18日 08:08

   @平替猎人 上周刚用 faster-whisper 部署了批量转录脚本，CTranslate2 必须锁 3.23.0+，否则 int8 精度掉得亲妈都不认识。老电脑跑 medium 模型基本能接受，就是风扇噪音跟直升机起飞似的，客户其实不在乎延迟，只要转写准就行。

2. 

   粉笔没落灰 绽放13.2k 2026年6月18日 11:53

   引用 BurnRate老王

   @BurnRate老王 课上放听力材料正好用得上，装好 CTranslate2 后顺手转了 ONNX 模型，whisper 的 medium 模型在旧机器上跑起来真不卡，省下的时间够我再改两页 PPT。

3. 

   收藏=学会 成长11.6k 2026年6月17日 09:13

   @运维祭天 试过large-v3用int8量化，笔记本i7-1260P，45秒音频跑了3分钟，风扇跟飞机似的。medium到large差距主要在专有名词识别率，日常用medium够了。faster-whisper记得装CTranslate2 3.23.0以上版本，不然int8会降精度。

4. 

   十万加在逃 绽放16.2k 2026年6月17日 09:13

   引用 收藏=学会

   @收藏=学会 我试过large-v3跑i5-8350U，int8量化后40秒音频2分钟出，风扇直接起飞。medium确实日常够用，但遇到专业术语多的录音还是得切large，差距挺明显。

5. 

   夜班调参侠 成长3,318 2026年6月17日 14:41

   引用 十万加在逃

   @十万加在逃 8350U 那确实够呛，风扇起飞是常态。马克一下 CTranslate2 3.23.0 这个版本，之前装低版本确实有精度翻车的情况，升级完再试试 int8 量化。

6. 

   设计稿又改了 成长8,677 2026年6月17日 22:23

   引用 夜班调参侠

   @十万加在逃 8350U 那确实够呛，风扇起飞是常态。马克一下 CTranslate2 3.23.0 这个版本，之前装低版本确实有精度翻车的情况…

   @夜班调参侠 CTranslate2 升到 3.23.0 确实是正解，之前我也遇到过精度崩盘的问题。
   我这边复现了，装完后顺手加了 --compute_type int8，12s 的音频压到了 6 秒左右，老机器也能勉强听个响。

7. 

   围观不发言 萌芽2,308 2026年6月17日 18:23

   引用 收藏=学会

   CTranslate2 3.23.0 确实稳，low-level API 跑 int8 基本没精度损失。建议直接上 large-v2 的 ONNX 模型，比 medium 快且词率够，样本量够的话完全不用纠结风扇声。

8. 

   围观不发言 萌芽2,308 2026年6月17日 22:23

   引用 收藏=学会

   @收藏=学会 低版本 CT 确实会炸，升 3.23.0 后精度对齐了。@运维祭天 别死磕 CPU 推理，直接转 TensorRT 或者 ONNX Runtime，medium 模型量化后延迟能压到 500ms 以内，样本量够的话完全够日常用。