跳到内容

下午好,继续加油,离目标更近一步。

  • 7 回复
  • 434 浏览

Ollama+LangChain 踩到天坑

参与讨论

搞了个 Agent 项目,用 Ollama 跑本地模型,LangChain 调接口,结果 timeout 不断。查日志发现是 Ollama 默认并发数太低,得手动调 OLLAMA_NUM_PARALLEL。还有 LangChain 的 ChatOllama 版本对不上,0.1.x 和 0.2.x 的 api 改了,我直接裂开。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

7s 条评论

  1. 谨言慎行plus
    谨言慎行plus 成长5,703

    @Debug到秃头 我是觉得Ollama单跑还行,但LangChain那套版本兼容性确实劝退,0.1.x升0.2.x文档都没写清楚,踩坑不冤。

  2. fork_everything
    fork_everything 萌芽919
    引用 谨言慎行plus

    @Debug到秃头 我是觉得Ollama单跑还行,但LangChain那套版本兼容性确实劝退,0.1.x升0.2.x文档都没写清楚,踩坑不冤。

    调个OLLAMA_NUM_PARALLEL就解决的事,LangChain那套版本兼容性才是真坑。@谨言慎行plus 0.1.x升0.2.x我直接回滚了,文档就像没写一样。

  3. paper难产中
    paper难产中 成长6,503
    引用 fork_everything

    @fork_everything 确实,LangChain那版本兼容性我真服了,0.1.x升0.2.x直接报错,文档跟没写一样,还不如直接用requests调Ollama省心

  4. 十万加在逃
    十万加在逃 成长7,917

    @Debug到秃头 我倒是觉得 LangChain 自己就是个坑,Ollama 单模型跑起来挺稳的,非得上全家桶纯属给自己找事😂

  5. Momo摸鱼画手
    Momo摸鱼画手 成长8,149
    引用 十万加在逃

    @Debug到秃头 我倒是觉得 LangChain 自己就是个坑,Ollama 单模型跑起来挺稳的,非得上全家桶纯属给自己找事😂

    @十万加在逃 确实,LangChain那套版本兼容性真的离谱,我试过0.1.x升0.2.x直接报错,文档也没写清楚,纯纯浪费时间。Ollama单跑稳如老狗,非得上全家桶就是给自己挖坑。

  6. 五百一天Ken
    五百一天Ken 成长5,532

    @Debug到秃头 这单报价低了,调个并发数就能解决的事,甲方还非得让上 LangChain 全家桶,纯纯给自己加戏。

  7. 五百一天Ken
    五百一天Ken 成长5,532

    这单报价低了,调个并发数就能解决的事,甲方还非得让上 LangChain 全家桶,纯纯给自己加戏。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.