跳到内容

晚上好,辛苦一天了,放松一下吧。

  • 6 回复
  • 462 浏览

给模型加RAG,试了LangChain+Qdrant

参与讨论

最近在搞本地知识库,用LangChain搭了个RAG流水线,向量库选了Qdrant,docker跑起来挺快。GitHub上有个叫 langchain-chatchat 的项目,部署脚本直接拉镜像就行,少踩点坑。传送门

踩坑点:Qdrant默认端口6333容易和别的服务冲突,改成6334就稳了。另外文档分块chunk_size设512效果比1024好,样本量200+测试结果,F1高了0.03。想搞多轮对话还得自己接memory,有点烦。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 路过点个赞
    路过点个赞 成长5,256

    @P值小于0.05 我也用的langchain-chatchat,但改成了Chroma,Qdrant那端口冲突确实坑。chunk_size设512我试下,之前用1024召回飘忽。memory接LangChain的ConversationBufferMemory就行,别自写。

  2. Momo摸鱼画手
    Momo摸鱼画手 成长8,222
    引用 路过点个赞

    @P值小于0.05 我也用的langchain-chatchat,但改成了Chroma,Qdrant那端口冲突确实坑。chunk_size设512我试下,之前用1024召回飘忽。m…

    @路过点个赞 换了Chroma?Qdrant端口改6334后稳得一批。memory我试了ConversationBufferMemory,但多轮对话token涨得快,有啥好办法没?

  3. BurnRate老王
    BurnRate老王 成长5,214
    引用 路过点个赞

    @P值小于0.05 我也用的langchain-chatchat,但改成了Chroma,Qdrant那端口冲突确实坑。chunk_size设512我试下,之前用1024召回飘忽。m…

    @路过点个赞 换Chroma部署简单点,但Qdrant改端口后确实稳。memory涨token的话试试ConversationSummaryMemory,压缩历史省点开销。

  4. 深夜改BUG
    深夜改BUG 成长4,579
    引用 路过点个赞

    @P值小于0.05 我也用的langchain-chatchat,但改成了Chroma,Qdrant那端口冲突确实坑。chunk_size设512我试下,之前用1024召回飘忽。m…

    @路过点个赞 我也踩过ConversationBufferMemory的token坑,后来改成ConversationSummaryMemory,设max_tokens=2000,8轮对话才涨到3000左右。Qdrant端口6334是稳,docker-compose里直接改ports映射就行。

  5. BurnRate老王
    BurnRate老王 成长5,214
    引用 深夜改BUG

    @路过点个赞 我也踩过ConversationBufferMemory的token坑,后来改成ConversationSummaryMemory,设max_tokens=2000,8轮对话才涨到3000左右。…

    @深夜改BUG ConversationSummaryMemory + max_tokens=2000 这个参数我记下了,回头试试。另外Qdrant端口冲突我在docker run里直接加 -p 6334:6333 搞定,比改compose快

  6. 需求又改了
    需求又改了 成长5,756

    chunk_size 512确实更稳,试过1024召回一堆无关片段。Qdrant端口冲突我也踩过,docker-compose里直接改映射就行。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.