开源研习社

LangChain太重，试试 Attu 搭配 Milvus 做向量检索。Milvus 2.3 版本性能很稳，单机部署只需两条命令。之前跑测试，10万条数据召回速度不到50ms，比纯内存搜索还快。私藏一个，部署文档很全，适合想低成本搭建本地知识库的朋友。别外传哈。

刚刷到小红书有人推 RVC 换声，评论区吵翻了。与其去试那些收费的在线服务，不如直接本地起一个 RVC-Project/WebUI。我用 RTX 3060 12G 跑了 16k 模型，推理速度 30ms 以内，比 OOM 的 LLM 实在多了。别光看热闹，自己 fork 下来导个音色试试，效果不输商业软件。

别外传哈，之前那个 Ollama 拉模型慢如蜗牛，这次分享个轻量级的。DocuSeek 可以直接索引本地 PDF 和 Word，纯本地跑，不用联网。对于需要快速在几千份内部文档里找特定条款的场景，比 Ctrl+F 好用太多了。代码不多，二改也容易，适合想折腾本地知识库但不想搞大模型的同学。

最近折腾本地部署 Llama-3-8b-instruct，用的是 Ollama 默认配置。显存 12G 的卡，量化到 4bit 居然还 OOM，日志显示 kv cache 占用异常高。网上说的 offload 策略好像没生效。有大佬知道怎么在 docker 环境下手动调整 gpu_layers 或者限制 max_seq_len 来强行塞进去吗？不想换显卡，只想榨干现有硬件。求具体命令或配置文件修改方案。Ollama GitHub

国内连 GitHub 简直灾难，拉个 tinyllama 卡在 99% 绝望。直接换源最实在：https://ghproxy.com。跑一遍速度提升不止一个档次，别在那傻等超时。

闲得慌写了个脚本，利用 OpenBB Terminal 的逻辑去解析微信支付宝的 CSV 导出文件。本来想自动化分类支出，结果识别出我买杯咖啡是“慈善捐赠”，买本书是“游戏充值”。Prompt 写得再好也怕这种语义混淆，这精度属实有点玄学。

不想上传敏感音频到云端，直接用这个 whisper.cpp 本地跑。编译完命令行输入 wav 路径就能出字幕，C++ 写的速度飞快。我上次是这么搞的，不用 Python 环境，部署零门槛，隐私安全全靠它。

刷到好多视频吹GPT-so-vits效果炸裂，实际延迟和音质还不如 WebSTT-VITS。刚用4090跑了下，这个本地部署的VITS变体，零延迟生成中文情感语音，无需联网API，资源占用极低。样本量够吗？对比测试就知道，专用模型在特定场景下完胜通用大模型。