- 4 回复
- 915 浏览
贴吧老哥都在跑这个RAG项目
刚在贴吧刷到一堆人问怎么本地搭RAG,正好我实验跑一半摸鱼刷到的,llama_index 最新版支持直接挂本地模型了,不用非得调API。我试了下用llama.cpp跑7B,检索速度还行,就是索引构建那步有点吃内存,16G能扛住。部署文档写挺细,但docker装的时候注意下镜像源,不然慢得要死。
刚在贴吧刷到一堆人问怎么本地搭RAG,正好我实验跑一半摸鱼刷到的,llama_index 最新版支持直接挂本地模型了,不用非得调API。我试了下用llama.cpp跑7B,检索速度还行,就是索引构建那步有点吃内存,16G能扛住。部署文档写挺细,但docker装的时候注意下镜像源,不然慢得要死。
按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。
本地偏好 · 配色仅保存在当前浏览器
点此注册,收藏与评论更方便
Welcome! This site is in Chinese. Tap EN in the top bar to read in English.
4s 条评论