一句封神 1 月前 开源研习社 绽放 想搞个离线版歌词翻译工具,求指点 平时听外语歌喜欢对照歌词,但网页版总有延迟且依赖网络。看到有个开源项目叫 LyricsTranslate (https://github.com/superpikar/lyrics-translate-api,原理很简单,就是抓取歌词然后用大模型翻译。我想自己部署一个纯离线的版本,绑定本地的 Ollama。目前卡在怎么优化长文本翻译的上下文窗口上,怕机器翻译太生硬。有没有大佬搞过类似的本地小工具?主要是想要个无广告、响应快的本地服务。 阅读更多 1 5 777 5条讨论
夜班调参侠 1 月前 开源研习社 成长 挖到个超小众的本地知识库检索库 不想用那些臃肿的大平台,刚找到 LlamaIndex 的极简用法。主打一个轻量,本地部署就能跑 RAG,把 PDF 转向量然后检索,响应速度比我之前用的云服务还快。对于只想要基础功能、不爱折腾大模型的用户来说,这个架构刚刚好,干净利落。 阅读更多 3 10 1,009 10条讨论
不测不信邪 1 月前 开源研习社 绽放 RAG 链路里 Embedding 模型选型纠结 之前一直用 bge-m3,结果跨语种检索效果拉垮。换了 text-embedding-3-large 后,召回率确实有提升,但 API 成本也上去了。正在评估 Qdrant 自带的量化方案能否抵消这部分开销。本地部署的话,MTEB 榜单上免费的 modelscope 开源模型还有谁能打?别光吹 Benchmark,我要看实际业务场景的数据。 阅读更多 5 5 613 5条讨论
周报难产中 1 月前 开源研习社 成长 跑模型被老哥配置坑了 刚在贴吧刷到个老哥求AI跑图配置,底下全是甩单子然后吵起来的。这玩意到底吃显存还是吃CUDA核心?我自己用SD试下来,显存不够直接崩,但有人拿1060跑得飞起,蹲个实际部署过的说说。 阅读更多 2 9 846 9条讨论
运维祭天 1 月前 开源研习社 绽放 有人试过把whisper跑在cpu上吗 贴吧老哥装机贴看多了,自己也想搞个语音转文字玩。捡了台旧笔记本只有CPU,试了openai/whisper那个官方仓库,跑个小文件风扇直接起飞,十分钟才出一行字…后来翻到faster-whisper(github.com/guillaumekln/faster-whisper),说能靠int8量化切到CPU。我照readme搭了个python环境,加载medium模型跑一段30秒的录音,耗时从几分钟缩到40秒左右,总算能用了。有试过更大模型的老哥可以分享下实际体验,看能不能再压一压。 阅读更多 4 8 751 8条讨论
周末补作业 2 月前 开源研习社 成长 llama.cpp能跑视觉模型吗 拉了个llama.cpp最新版,想跑llava-v1.6-7b,结果加载mmproj报错说权重不匹配。有人试过这玩意跑视觉模型没?需要改啥参数还是得换别的后端? 阅读更多 3 6 605 6条讨论
平替猎人 2 月前 开源研习社 成长 ComfyUI 跑 Flux 报错求教 拉了个 ComfyUI 最新版,想跑 Flux.1-schnell,load 模型直接报 Can't load tokenizer for 'flux'。有人碰到过没?还是得手动下别的权重?github.com/comfyanonymous/ComfyUI 阅读更多 5 11 589 11条讨论
夜班调参侠 2 月前 开源研习社 成长 这玩意能跑满显卡吗 刚看到个开源项目叫LocalAI,说是能本地跑LLM不用显卡?链接丢这:github.com/mudler/LocalAI。有人试过没,实测性能咋样,能跟Ollama掰手腕不? 阅读更多 2 9 785 9条讨论
周报难产中 2 月前 开源研习社 成长 Stable Diffusion WebUI 跑图报错求指路 刚在本地搭了 Automatic1111 那个 WebUI,用的 v1.8.0,跑个 512x512 的图直接 OOM 了,我 8G 显存理论上够啊。是不是要调 xformers 或者 --medvram?有没老哥丢个改好的启动参数链接,或者直接贴个稳定点的一键包出来,蹲个后续。 阅读更多 5 9 860 9条讨论
强迫症晚期 2 月前 开源研习社 成长 有人试过LocalAI没 刚看到LocalAI这玩意,说是可以本地跑LLM和图像生成,不用GPU也行。有人部署过没?链接在这:https://github.com/mudler/LocalAI,docker-compose一键启动,但模型下载那块有点迷,我上次配了半天卡在路径上,有没有踩坑经验分享下? 阅读更多 4 10 534 10条讨论
运维祭天 2 月前 开源研习社 绽放 安利一个能白嫖的本地OCR项目 私藏一个叫PaddleOCR的开源项目,百度出的,GitHub链接:https://github.com/PaddlePaddle/PaddleOCR。部署巨简单,pip install就跑起来,识别合同截图准确率吓人,关键免费,比那些按次收费的云API香多了。别外传哈,踩坑点:如果电脑没GPU,记得加参数--use_gpu false,不然报错卡半天。我自己用来转扫描件成word,省了手动敲键盘的时间,爽。 阅读更多 4 17 353 17条讨论
Debug到秃头 2 月前 开源研习社 绽放 Fairseq语音翻译怎么跑通 拉了个fairseq 0.12.2,跑语音翻译demo,data加载报KeyError:'src_tokens'。是不是还得额外搞个wav2vec2的权重? 阅读更多 4 8 269 8条讨论
周末补作业 2 月前 开源研习社 成长 llama.cpp 跑 Qwen2 7B 报错求教 试了最新 llama.cpp b3805 跑 Qwen2 7B,加载 q4_k_m 直接报“GGML_ASSERT: n_embd_head == 0”。换过几个 commit 都一样,有人遇到吗?模型是从官方仓库下那个 gguf,不是自己转的。想确认下是不是 llama.cpp 对 Qwen2 支持有坑,还是我姿势不对。有成功跑起来的给个命令行参考? 阅读更多 1 14 373 14条讨论
午后续命水 2 月前 开源研习社 成长 MP-SPDZ 跑安全多方计算有人试过没 GitHub 上这个:https://github.com/data61/MP-SPDZ。说是能跑各种 MPC 协议,我试了下编译就卡在依赖上,Python 版本要求 3.10 但机器上 3.9 死活不兼容。有没人踩过这坑,或者有现成 Docker 镜像链接?版本号 v0.3.8。 阅读更多 2 5 232 5条讨论
佛系打工人 2 月前 开源研习社 成长 Stable Diffusion WebUI Forge 快慢对比测试 昨天试了 Forge 版 SD WebUI,同样的 512x512 图,fp16 比原版快了 23%。但 sd3.5 medium 跑 1024 直接 OOM 报错,有没踩坑的?Forge: github.com/lllyasviel/stable-diffusion-webui-forge参数:RTX 4060 8G,--medvram 已开,batch size 1 阅读更多 4 5 235 5条讨论