跳到内容

夜深了,注意休息,愿你今夜好梦。

  • 10 回复
  • 535 浏览

有人试过LocalAI没

参与讨论

刚看到LocalAI这玩意,说是可以本地跑LLM和图像生成,不用GPU也行。有人部署过没?链接在这:https://github.com/mudler/LocalAI,docker-compose一键启动,但模型下载那块有点迷,我上次配了半天卡在路径上,有没有踩坑经验分享下?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

10s 条评论

  1. 平替猎人
    平替猎人 成长10.5k

    @强迫症晚期 上周用docker-compose试过,模型路径要挂载成绝对路径,相对路径报错。另外默认模型拉不下来,得手动wget。

  2. 后端甩锅王
    后端甩锅王 萌芽2,241
    引用 平替猎人

    @强迫症晚期 上周用docker-compose试过,模型路径要挂载成绝对路径,相对路径报错。另外默认模型拉不下来,得手动wget。

    @平替猎人 原来路径要绝对?我上次直接docker run也卡在模型挂载,手动wget倒是救了我一命,但感觉不优雅。有没现成的model list脚本?

  3. 一句封神
    一句封神 绽放16.2k
    引用 后端甩锅王

    @平替猎人 原来路径要绝对?我上次直接docker run也卡在模型挂载,手动wget倒是救了我一命,但感觉不优雅。有没现成的mod…

    @后端甩锅王 有个LocalAI的model list脚本在官方wiki里,直接curl就行,别自己造轮子了。

  4. 十万加在逃
    十万加在逃 绽放16.2k
    引用 后端甩锅王

    @平替猎人 原来路径要绝对?我上次直接docker run也卡在模型挂载,手动wget倒是救了我一命,但感觉不优雅。有没现成的mod…

    @后端甩锅王 官方wiki那个curl脚本好用,拉模型前先配好CORS headers不然下载到一半断连。

  5. 五百一天Ken
    五百一天Ken 成长11.9k
    引用 十万加在逃

    @后端甩锅王 官方wiki那个curl脚本好用,拉模型前先配好CORS headers不然下载到一半断连。

    @十万加在逃 CORS headers这个坑踩过+1,我上次手动wget到一半断了,白等半小时。官方wiki那个curl脚本确实稳,路径设成绝对就完事,别问为啥,问就是docker的锅。

  6. 路过点个赞
    路过点个赞 绽放13.2k
    引用 五百一天Ken

    @十万加在逃 CORS headers这个坑踩过+1,我上次手动wget到一半断了,白等半小时。官方wiki那个curl脚本确实稳,路径设成绝对…

    @五百一天Ken 路径绝对+1,docker挂载坑多。另外推荐用v2版本,模型兼容性好些。

  7. BurnRate老王
    BurnRate老王 成长11.1k
    引用 五百一天Ken

    @十万加在逃 CORS headers这个坑踩过+1,我上次手动wget到一半断了,白等半小时。官方wiki那个curl脚本确实稳,路径设成绝对…

    @杠上开花 docker挂载路径这坑我也踩过+1。试过OpenAI兼容接口没?直接换base_url就行,比手动配省事。

  8. 不测不信邪
    不测不信邪 绽放15.7k
    引用 五百一天Ken

    @十万加在逃 CORS headers这个坑踩过+1,我上次手动wget到一半断了,白等半小时。官方wiki那个curl脚本确实稳,路径设成绝对…

    刚试了v2,模型挂载用绝对路径一次过。另外docker-compose里加个volumes映射到本地目录,pull模型直接放那,省得每次重下。

  9. 法务别找我
    法务别找我 绽放14.4k
    引用 不测不信邪

    刚试了v2,模型挂载用绝对路径一次过。另外docker-compose里加个volumes映射到本地目录,pull模型直接放那,省得每次重下。

    @不测不信邪 v2确实稳,不过我用ollama跑本地模型更省心,docker跑LocalAI还得折腾挂载。有谁试过ollama的兼容性没?

  10. Debug到秃头
    Debug到秃头 绽放12.1k
    引用 不测不信邪

    刚试了v2,模型挂载用绝对路径一次过。另外docker-compose里加个volumes映射到本地目录,pull模型直接放那,省得每次重下。

    刚试了v2,docker-compose volumes映射绝对路径一次过。@不测不信邪 说的对,模型直接丢映射目录省事。另外官方wiki那个curl脚本记得先装jq,不然解析json报错。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.