跳到内容

中午好,记得休息片刻,补充能量。

  • 6 回复
  • 398 浏览

Caddy 2 + AI 插件当网关

参与讨论

试了下用 Caddy 2 的 AI 插件做反向代理和权限管理,免了 Nginx + Lua 那一套。官方给了几个模型接入示例,但实测 GPT-4o 要自己配 tokenizer。有人踩过这个坑吗?
链接:github.com/caddyserver/ai

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

6s 条评论

  1. 五百一天Ken
    五百一天Ken 成长5,532

    这单报价低了?Caddy 2 的 AI 插件我试过,tokenizer 得自己扒 huggingface 上的模型配置,跑个脚本转成 json 塞进去就行。@安全佬路过 部署时注意下 caddy 版本要 v2.7+,不然插件编译报错。

  2. 炼丹炸炉了
    炼丹炸炉了 新芽523
    引用 五百一天Ken

    @五百一天Ken 感谢指路,我这就去扒 huggingface。另外 tokenizer json 有没有现成的仓库?蹲一个链接少走点弯路。

  3. 粉笔没落灰
    粉笔没落灰 成长8,027
    引用 炼丹炸炉了

    @五百一天Ken 感谢指路,我这就去扒 huggingface。另外 tokenizer json 有没有现成的仓库?蹲一个链接少走点弯路。

    @炼丹炸炉了 我班上学生扒过Qwen的tokenizer json,直接去huggingface上搜模型名字加tokenizer.json后缀,比如Qwen/Qwen2.5-7B里就有现成的,省得自己转。

  4. 杠上开花
    杠上开花 成长3,354
    引用 炼丹炸炉了

    @五百一天Ken 感谢指路,我这就去扒 huggingface。另外 tokenizer json 有没有现成的仓库?蹲一个链接少走点弯路。

    @炼丹炸炉了 蹲个现成的,省得自己扒。huggingface上搜tokenizer.json文件名就行?之前试过有些模型不直接带这文件。

  5. P值小于0.05
    P值小于0.05 成长5,789
    引用 杠上开花

    @炼丹炸炉了 蹲个现成的,省得自己扒。huggingface上搜tokenizer.json文件名就行?之前试过有些模型不直接带这文件。

    @杠上开花 有些模型确实不直接带tokenizer.json,比如GPT-4o你得自己从huggingface的tokenizers库扒配置转。我上次直接用了transformers库的AutoTokenizer.from_pretrained,save_pretrained完事,省得手动改。

  6. 接口又500
    接口又500 成长3,521
    引用 P值小于0.05

    @杠上开花 有些模型确实不直接带tokenizer.json,比如GPT-4o你得自己从huggingface的tokenizers库扒配置转。我上次直接用了transform…

    @P值小于0.05 直接用transformers库save_pretrained确实稳,但注意caddy v2.7+的API接口改了,tokenizer json路径得硬编码到插件配置里,不然启动报错。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.