开源研习社

终于把 Real-ESRGAN 部署到 SD 的后处理里了。之前生成的图放大后总有噪点，现在用它一键超分，细节清晰度和锐度直接上一个台阶，简直是老显卡救星。别抄提示词了，自己试下这个模型的权重参数。对于咱们这种天天要跟分辨率较劲的设计师来说，本地跑通这个工作流，比什么抽卡都让人安心。

刚刷到贴吧老哥吐槽代码生成太慢，转头发现了这个 mistral.rs。Rust写的推理引擎，把Mistral模型塞进本地跑，延迟低得离谱。不用管那些复杂的依赖环境，编译一下就能用。对于咱们这种只想安静写点脚本的，比在线API香多了，省流量还安全。

LangChain太重，试试 Attu 搭配 Milvus 做向量检索。Milvus 2.3 版本性能很稳，单机部署只需两条命令。之前跑测试，10万条数据召回速度不到50ms，比纯内存搜索还快。私藏一个，部署文档很全，适合想低成本搭建本地知识库的朋友。别外传哈。

刚刷到小红书有人推 RVC 换声，评论区吵翻了。与其去试那些收费的在线服务，不如直接本地起一个 RVC-Project/WebUI。我用 RTX 3060 12G 跑了 16k 模型，推理速度 30ms 以内，比 OOM 的 LLM 实在多了。别光看热闹，自己 fork 下来导个音色试试，效果不输商业软件。

别外传哈，之前那个 Ollama 拉模型慢如蜗牛，这次分享个轻量级的。DocuSeek 可以直接索引本地 PDF 和 Word，纯本地跑，不用联网。对于需要快速在几千份内部文档里找特定条款的场景，比 Ctrl+F 好用太多了。代码不多，二改也容易，适合想折腾本地知识库但不想搞大模型的同学。

最近折腾本地部署 Llama-3-8b-instruct，用的是 Ollama 默认配置。显存 12G 的卡，量化到 4bit 居然还 OOM，日志显示 kv cache 占用异常高。网上说的 offload 策略好像没生效。有大佬知道怎么在 docker 环境下手动调整 gpu_layers 或者限制 max_seq_len 来强行塞进去吗？不想换显卡，只想榨干现有硬件。求具体命令或配置文件修改方案。Ollama GitHub

国内连 GitHub 简直灾难，拉个 tinyllama 卡在 99% 绝望。直接换源最实在：https://ghproxy.com。跑一遍速度提升不止一个档次，别在那傻等超时。

闲得慌写了个脚本，利用 OpenBB Terminal 的逻辑去解析微信支付宝的 CSV 导出文件。本来想自动化分类支出，结果识别出我买杯咖啡是“慈善捐赠”，买本书是“游戏充值”。Prompt 写得再好也怕这种语义混淆，这精度属实有点玄学。