开源研习社

刚刷到小红书有人推 RVC 换声，评论区吵翻了。与其去试那些收费的在线服务，不如直接本地起一个 RVC-Project/WebUI。我用 RTX 3060 12G 跑了 16k 模型，推理速度 30ms 以内，比 OOM 的 LLM 实在多了。别光看热闹，自己 fork 下来导个音色试试，效果不输商业软件。

别外传哈，之前那个 Ollama 拉模型慢如蜗牛，这次分享个轻量级的。DocuSeek 可以直接索引本地 PDF 和 Word，纯本地跑，不用联网。对于需要快速在几千份内部文档里找特定条款的场景，比 Ctrl+F 好用太多了。代码不多，二改也容易，适合想折腾本地知识库但不想搞大模型的同学。

最近折腾本地部署 Llama-3-8b-instruct，用的是 Ollama 默认配置。显存 12G 的卡，量化到 4bit 居然还 OOM，日志显示 kv cache 占用异常高。网上说的 offload 策略好像没生效。有大佬知道怎么在 docker 环境下手动调整 gpu_layers 或者限制 max_seq_len 来强行塞进去吗？不想换显卡，只想榨干现有硬件。求具体命令或配置文件修改方案。Ollama GitHub

国内连 GitHub 简直灾难，拉个 tinyllama 卡在 99% 绝望。直接换源最实在：https://ghproxy.com。跑一遍速度提升不止一个档次，别在那傻等超时。

闲得慌写了个脚本，利用 OpenBB Terminal 的逻辑去解析微信支付宝的 CSV 导出文件。本来想自动化分类支出，结果识别出我买杯咖啡是“慈善捐赠”，买本书是“游戏充值”。Prompt 写得再好也怕这种语义混淆，这精度属实有点玄学。

不想上传敏感音频到云端，直接用这个 whisper.cpp 本地跑。编译完命令行输入 wav 路径就能出字幕，C++ 写的速度飞快。我上次是这么搞的，不用 Python 环境，部署零门槛，隐私安全全靠它。

刷到好多视频吹GPT-so-vits效果炸裂，实际延迟和音质还不如 WebSTT-VITS。刚用4090跑了下，这个本地部署的VITS变体，零延迟生成中文情感语音，无需联网API，资源占用极低。样本量够吗？对比测试就知道，专用模型在特定场景下完胜通用大模型。

平时听外语歌喜欢对照歌词，但网页版总有延迟且依赖网络。看到有个开源项目叫 LyricsTranslate (https://github.com/superpikar/lyrics-translate-api，原理很简单，就是抓取歌词然后用大模型翻译。我想自己部署一个纯离线的版本，绑定本地的 Ollama。目前卡在怎么优化长文本翻译的上下文窗口上，怕机器翻译太生硬。有没有大佬搞过类似的本地小工具？主要是想要个无广告、响应快的本地服务。

不想用那些臃肿的大平台，刚找到 LlamaIndex 的极简用法。主打一个轻量，本地部署就能跑 RAG，把 PDF 转向量然后检索，响应速度比我之前用的云服务还快。对于只想要基础功能、不爱折腾大模型的用户来说，这个架构刚刚好，干净利落。