Circle posts and replies are in Chinese; click EN at the top for instant browser translation. These pages are not indexed as separate English URLs.
登录后发起讨论
登录即可发布话题，支持配图、表情与手绘，与社区一起交流 AI 实践。
话题分类 开源研习社
刚看到LocalAI这玩意，说是可以本地跑LLM和图像生成，不用GPU也行。有人部署过没？链接在这：https://github.com/mudler/LocalAI，docker-compose一键启动，但模型下载那块有点迷，我上次配了半天卡在路径上，有没有踩坑经验分享下？
试了最新 llama.cpp b3805 跑 Qwen2 7B，加载 q4_k_m 直接报“GGML_ASSERT: n_embd_head == 0”。换过几个 commit 都一样，有人遇到吗？模型是从官方仓库下那个 gguf，不是自己转的。想确认下是不是 llama.cpp 对 Qwen2 支持有坑，还是我姿势不对。有成功跑起来的给个命令行参考？
昨天试了 Forge 版 SD WebUI，同样的 512x512 图，fp16 比原版快了 23%。但 sd3.5 medium 跑 1024 直接 OOM 报错，有没踩坑的？Forge: github.com/lllyasviel/stable-diffusion-webui-forge参数：RTX 4060 8G，--medvram 已开，batch size 1
发现个叫AppFlowy的开源项目，号称开源的Notion替代品，自己搭了个试了下，数据全本地，用Docker一键部署还挺顺。链接在这：https://github.com/AppFlowy-IO/AppFlowy。有人踩过插件坑没？我装了个日历模块挂了。
最近在玩 Dify，部署贼简单，docker-compose 一把梭。拿来搞个人知识库，丢了一堆笔记进去查东西挺爽。仓库在这 github.com/langgenius/dify ，踩坑：第一次跑记得改.env里的密钥，别直接用默认的。想搭私有的可以试试，比 notion AI 省钱多了。
试了下用 Caddy 2 的 AI 插件做反向代理和权限管理，免了 Nginx + Lua 那一套。官方给了几个模型接入示例，但实测 GPT-4o 要自己配 tokenizer。有人踩过这个坑吗？链接：github.com/caddyserver/ai
Mochi 1 刚开源，genmo那帮人搞的，直接本地部署能跑1080p视频，惊了。我用的3090，24G显存勉强扛住，渲染等了俩小时。地址：github.com/genmoai/mochi踩坑：别用Windows跑，CUDA版本不对直接炸，最后换Ubuntu+Docker才稳。兄弟们试试？
试了下ollama直接拉llama3.1 8B，i7-12700跑了快5分钟才吐出第一句，这玩意是不是只能等GPU版本？有人用llama.cpp优化过没，差距大吗？
