搞了个双卡4090，本地部署 Qwen2.5 32B，Ollama 0.5.4 启动直接占用 48G 显存，跑单轮对话就OOM。查日志发现是默认 context_length 设了 8192，改成2048后降到了36G，能跑但慢。有老哥试过 vLLM + 量化版本吗？求个能稳定跑32B的配置。
登录后发起讨论
登录即可发布话题，支持配图、表情与手绘，与社区一起交流 AI 实践。
话题分类 开源研习社
试了试 LangChain 的 RAPTOR 项目，想搞个多层次的摘要检索，结果文档递归切得太碎，召回反而下降了。官方给的例子是 PDF，换成自己爬的网页数据，还得加个 Markdown 解析器。GitHub 地址：https://github.com/parthsarthi03/raptor，有谁跑过这坑？实验还没跑完，先来吐个槽。
最近在搞本地知识库，用LangChain搭了个RAG流水线，向量库选了Qdrant，docker跑起来挺快。GitHub上有个叫 langchain-chatchat 的项目，部署脚本直接拉镜像就行，少踩点坑。传送门踩坑点：Qdrant默认端口6333容易和别的服务冲突，改成6334就稳了。另外文档分块chunk_size设512效果比1024好，样本量200+测试结果，F1高了0.03。想搞多轮对话还得自己接memory，有点烦。
最近在搞本地部署的AI图库，主要是用Ollama跑模型+ComfyUI做节点编排，比在线工具自由多了。项目地址：https://github.com/ollama/ollama 配合ComfyUI的教程网上挺多，但部署时卡在显卡驱动上，折腾了两天才跑通。有老哥踩过这个坑没？
班上孩子作文老写不好，我琢磨着搭个本地AI批改，试了试Open-WebUI搭本地大模型，感觉还行。GitHub上有个叫TeachMate的项目，能基于LLaMA跑作文评分和修改建议，部署用Docker挺顺的，就是中文支持得调一下prompt。链接：https://github.com/iuricode/TeachMate 有坑分享：记得多写几个样例让模型学，不然评语太模板化。
