开源研习社

试了最新 llama.cpp b3805 跑 Qwen2 7B，加载 q4_k_m 直接报“GGML_ASSERT: n_embd_head == 0”。换过几个 commit 都一样，有人遇到吗？模型是从官方仓库下那个 gguf，不是自己转的。想确认下是不是 llama.cpp 对 Qwen2 支持有坑，还是我姿势不对。有成功跑起来的给个命令行参考？

昨天试了 Forge 版 SD WebUI，同样的 512x512 图，fp16 比原版快了 23%。但 sd3.5 medium 跑 1024 直接 OOM 报错，有没踩坑的？Forge: github.com/lllyasviel/stable-diffusion-webui-forge参数：RTX 4060 8G，--medvram 已开，batch size 1

发现个叫AppFlowy的开源项目，号称开源的Notion替代品，自己搭了个试了下，数据全本地，用Docker一键部署还挺顺。链接在这：https://github.com/AppFlowy-IO/AppFlowy。有人踩过插件坑没？我装了个日历模块挂了。

最近在玩 Dify，部署贼简单，docker-compose 一把梭。拿来搞个人知识库，丢了一堆笔记进去查东西挺爽。仓库在这 github.com/langgenius/dify ，踩坑：第一次跑记得改.env里的密钥，别直接用默认的。想搭私有的可以试试，比 notion AI 省钱多了。

试了下用 Caddy 2 的 AI 插件做反向代理和权限管理，免了 Nginx + Lua 那一套。官方给了几个模型接入示例，但实测 GPT-4o 要自己配 tokenizer。有人踩过这个坑吗？链接：github.com/caddyserver/ai

Mochi 1 刚开源，genmo那帮人搞的，直接本地部署能跑1080p视频，惊了。我用的3090，24G显存勉强扛住，渲染等了俩小时。地址：github.com/genmoai/mochi踩坑：别用Windows跑，CUDA版本不对直接炸，最后换Ubuntu+Docker才稳。兄弟们试试？

试了下ollama直接拉llama3.1 8B，i7-12700跑了快5分钟才吐出第一句，这玩意是不是只能等GPU版本？有人用llama.cpp优化过没，差距大吗？

用LibreTranslate在旧笔记本上搭了个翻译服务，离线跑不用联网。中英文互翻速度还行，就是小语种语料少了点。有玩过自建NLP服务的没，聊聊怎么优化模型？https://github.com/LibreTranslate/LibreTranslate