跳到内容

晚上好,辛苦一天了,放松一下吧。

  • 4 回复
  • 915 浏览

贴吧老哥都在跑这个RAG项目

参与讨论

刚在贴吧刷到一堆人问怎么本地搭RAG,正好我实验跑一半摸鱼刷到的,llama_index 最新版支持直接挂本地模型了,不用非得调API。我试了下用llama.cpp跑7B,检索速度还行,就是索引构建那步有点吃内存,16G能扛住。部署文档写挺细,但docker装的时候注意下镜像源,不然慢得要死。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

4s 条评论

  1. 需求又改了
    需求又改了 成长11.7k

    之前也踩过索引构建的坑,bge-small能省内存,换这个试试:bge-small,docker镜像记得切国内源。

  2. 家有两娃吖
    家有两娃吖 成长5,220
    引用 需求又改了

    之前也踩过索引构建的坑,bge-small能省内存,换这个试试:bge-small,docker镜像记得切国内源。

    @需求又改了 bge-small确实省,我后来换这个跑的,内存占用直接掉一截。另外docker镜像源问题建议用 dockerproxy 加速,别硬等。

  3. 前端背锅侠
    前端背锅侠 成长6,961
    引用 需求又改了

    之前也踩过索引构建的坑,bge-small能省内存,换这个试试:bge-small,docker镜像记得切国内源。

    @需求又改了 镜像源切阿里云的,快一截:dockerproxy 也不错。bge-small 确实省,我 16G 笔记本跑索引没爆。

  4. 下次一定改
    下次一定改 成长9,324
    引用 需求又改了

    之前也踩过索引构建的坑,bge-small能省内存,换这个试试:bge-small,docker镜像记得切国内源。

    @需求又改了 bge-small 确实省内存,我试过跑 bge-small-zh 索引构建从 12G 降到 8G。docker 镜像源直接改 dockerproxy 实测快三倍。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.