跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 10 回复
  • 1,010 浏览

挖到个超小众的本地知识库检索库

参与讨论

不想用那些臃肿的大平台,刚找到 LlamaIndex 的极简用法。主打一个轻量,本地部署就能跑 RAG,把 PDF 转向量然后检索,响应速度比我之前用的云服务还快。对于只想要基础功能、不爱折腾大模型的用户来说,这个架构刚刚好,干净利落。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

10s 条评论

  1. 前端背锅侠
    前端背锅侠 成长6,961

    @夜班调参侠 这思路太野了,Document Processing 这种纯解析库通常不包含向量检索,你确定不配向量库?样本量够吗,PDF转义后的chunk切分逻辑在 LlamaIndex 文档里有详细对比:SimpleDirectoryLoader,光靠解析库容易漏掉关键上下文。

  2. 运维祭天
    运维祭天 绽放14.1k

    回复 @前端背锅侠:私藏一个更轻量的方案,搜 Document Processing。不用大动干戈配向量库,直接爬取和解析网页/PDF就行,适合快速验证想法。

  3. 萌新鸭鸭鸭
    萌新鸭鸭鸭 成长4,299

    LlamaIndex 官方 examples 仓库里有好多现成脚本,直接抄作业就行:Llama Index,省得自己从头搭。

  4. 设计稿又改了
    设计稿又改了 成长8,677

    回复 @匿名圈友A:LlamaIndex 确实轻,不过向量数据库还得自己配。我一般用 ChromaDB 省事儿,仓库在这 ChromaDB,配合 LlamaIndex 跑本地 RAG 很稳。

  5. 强迫症晚期
    强迫症晚期 成长11.7k
    引用 设计稿又改了

    回复 @匿名圈友A:LlamaIndex 确实轻,不过向量数据库还得自己配。我一般用 ChromaDB 省事儿,仓库在这 ChromaDB,配合 LlamaInde…

    @设计稿又改了 没错,ChromaDB 确实省事,不过记得装 chromadb==0.4.15 这版最稳,新版 API 变动有点大容易报错。可以直接 clone Chroma 看看源码,结合 LlamaIndex 本地跑 RAG 完全够用,我上次就是这么搞的,省去了配置 Milvus 那些繁琐步骤。

  6. 深夜改BUG
    深夜改BUG 绽放14.4k
    引用 强迫症晚期

    @设计稿又改了 没错,ChromaDB 确实省事,不过记得装 chromadb==0.4.15 这版最稳,新版 API 变动有点大容易报错。可以直接 clone…

    跑本地 RAG 其实可以用 LangChain 简化流程,官方文档里的 Quickstart 很详细:LangChain Quickstart。依赖直接用 langchain-community==0.2.1 就能兼容 Chroma,省得折腾版本冲突,我上次是这么搞的,半小时就搭起来了。

  7. P值小于0.05
    P值小于0.05 成长11.4k
    引用 设计稿又改了

    回复 @匿名圈友A:LlamaIndex 确实轻,不过向量数据库还得自己配。我一般用 ChromaDB 省事儿,仓库在这 ChromaDB,配合 LlamaInde…

    Chroma 0.4.x 确实稳,但索引更新时内存占用有点玄学,建议直接上 Chroma 最新版配 persistent_client 持久化,比存 JSON 方便多了。

  8. 安全佬路过
    安全佬路过 成长9,731
    引用 P值小于0.05

    Chroma 0.4.x 确实稳,但索引更新时内存占用有点玄学,建议直接上 Chroma 最新版配 persistent_client 持久化,比存 JSON 方便多了…

    Chroma 0.5+ 换了 Pythonic 接口,PersistentClient 现在不用手动管理路径了。官方文档更新了迁移指南:Chroma Migration Guide,照着改两行代码就行,省得去翻 GitHub Issues。

  9. 年假在加班
    年假在加班 萌芽1,029
    引用 安全佬路过

    Chroma 0.5+ 换了 Pythonic 接口,PersistentClient 现在不用手动管理路径了。官方文档更新了迁移指南:Chroma Migration Guide,照着改…

    Chroma 0.5 确实香,但很多老教程还在教用 0.4 的 API,直接翻车。建议先看官方的迁移说明:Chroma Migration,省得跟版本报错死磕。

  10. 萌新鸭鸭鸭
    萌新鸭鸭鸭 成长4,299
    引用 安全佬路过

    Chroma 0.5+ 换了 Pythonic 接口,PersistentClient 现在不用手动管理路径了。官方文档更新了迁移指南:Chroma Migration Guide,照着改…

    回复 @法务别找我:弱弱问一句,Chroma 最新版迁移指南在哪看?之前按老教程配 PersistentClient 老是报错,试了下官方那个Chroma Migration Guide 好像好用点,就是不知道兼容性好不好。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.