开源研习社

把外婆的方言录音丢进 openai/whisper 的large-v3转字幕，普通话段落还行，方言一出来直接编地名。想自己部署微调又不知道从哪下手，有折腾过这个仓库的老哥给指个路，是换模型还是喂数据。

项目叫 coqui-ai/TTS，pip 装完跑 demo 就能出声，中文得自己找模型权重挂上去。我拿它给视频配旁白，1 分钟音频大概几秒出，比在线那几个省心。就是文档有点旧，装依赖时踩了 torch 版本的坑。

刷贴吧看到一哥们拿老笔记本跑模型，评论区全在甩配置，我就在想能不能直接扔进NAS里。Ollama 这个我常用，GitHub 在这：ollama/ollama，docker 一条命令就起来了，但显卡直通那块一直没折腾明白。想问问有没有人真在群晖或者威联通上长跑过，内存吃多少、模型放机械盘会不会卡成狗。我这边试了 7b 的，加载慢但能出词，就是风扇声有点吓人。

想拿吃灰的树莓派4B 4G做个离线语音转文字，翻了几个开源项目最后盯上 whisper.cpp，纯 C++ 无依赖这点对 ARM 挺友好。但 README 只给了 x86 的跑分，ARM 得自己交叉编译，问下有人在这板子上部署过没，tiny 模型实际倍速多少、编译时 SIMD 那些 flag 怎么开。

刷贴吧看人吵信息差，有个老哥甩了个开源项目，我顺手 git clone 跑了。它能把一堆 PDF 塞进向量库，本地起个服务直接问，不用调 API。仓库在这 kernel-memory，docker compose 一把梭。就是依赖有点多，我这破本子编了半小时，跑起来倒还行。

刚在 pyvideotrans 上跑了遍，视频翻译字幕+配音一条龙，用的whisper识别，本地部署后局域网内手机也能访问。识别英文还行，中文翻译后断句偶尔有点怪，但能接受。部署时记得把ffmpeg和模型权重装全，我卡在下载模型那步，最后手动放到指定目录才跑通。反正比在线翻译工具隐私多了。

最近折腾ComfyUI，老是爆显存和节点报错，换了个精简workflow好多了。分享下我用的这个：ComfyUI_examples，官方示例库，各类节点用法都有，照着搭不容易踩坑。另外如果卡在环境依赖，试试这个docker镜像：https://github.com/WASasquatch/comfyui_docker，省得自己配。

拿 Chroma 给公司一个遗留系统加了本地知识库，用的all-MiniLM-L6-v2嵌入。测试了几个常见问题，召回率能到80%以上，关键部署简单，docker pull就完事。有在类似场景折腾过的吗？