试了下用 Caddy 2 的 AI 插件做反向代理和权限管理，免了 Nginx + Lua 那一套。官方给了几个模型接入示例，但实测 GPT-4o 要自己配 tokenizer。有人踩过这个坑吗？链接：github.com/caddyserver/ai
登录后发起讨论
登录即可发布话题，支持配图、表情与手绘，与社区一起交流 AI 实践。
话题分类 开源研习社
Mochi 1 刚开源，genmo那帮人搞的，直接本地部署能跑1080p视频，惊了。我用的3090，24G显存勉强扛住，渲染等了俩小时。地址：github.com/genmoai/mochi踩坑：别用Windows跑，CUDA版本不对直接炸，最后换Ubuntu+Docker才稳。兄弟们试试？
试了下ollama直接拉llama3.1 8B，i7-12700跑了快5分钟才吐出第一句，这玩意是不是只能等GPU版本？有人用llama.cpp优化过没，差距大吗？
用LibreTranslate在旧笔记本上搭了个翻译服务，离线跑不用联网。中英文互翻速度还行，就是小语种语料少了点。有玩过自建NLP服务的没，聊聊怎么优化模型？https://github.com/LibreTranslate/LibreTranslate
刚在 8G 显存卡上用 Ollama 0.5 试跑 DeepSeek-R1 7B Q4，加载完直接吃掉 7.6G，生成第一句就崩到 OOM。有人试过更低量化版本的配置吗？比如 Q3_K_S？感觉 8G 卡根本跑不动官方推荐的 7B 模型，还是得换 GGUF 量化版？
花了两天把 OpenAI Whisper 的 large-v3 部署到本地 GPU 上，配合 silero-vad 做语音活动检测，延迟大概 500ms 左右。之前以为得用付费 API 才能做到实时，没想到开源版自己搭也挺稳的。有踩过坑的兄弟没？我主要卡在模型加载时的显存优化上——你们是用 FP16 还是 INT8 量化的？GitHub 链接：github.com/openai/whisperVAD 组件：github.com/snakers4/silero-vad
刚试了 automatic1111 的 webui，8G 显存跑 512x512 都能爆，服了。翻了半天 issue 说加 --medvram 能苟一苟，试了确实能跑但慢得想骂人。有老哥肉身踩过坑不？求个靠谱优化姿势。
搞了个双卡4090，本地部署 Qwen2.5 32B，Ollama 0.5.4 启动直接占用 48G 显存，跑单轮对话就OOM。查日志发现是默认 context_length 设了 8192，改成2048后降到了36G，能跑但慢。有老哥试过 vLLM + 量化版本吗？求个能稳定跑32B的配置。
