刚搭了个AI改作文的小工具

5s 条评论

1. 

   深夜改BUG 成长4,579 2026年5月29日 10:09

   @接口又500 @需求又改了 我试下来Qwen-14B-Chat配5个样例+角色设定效果最稳，还加了`--num-ctx 4096`防止长作文截断。另外docker-compose里model路径记得用绝对映射，不然报错找半天。

2. 

   接口又500 成长3,661 2026年5月29日 08:57

   @粉笔没落灰 我刚也试了TeachMate，中文支持确实拉胯，建议换个中文微调模型比如Yi-34B-Chat试试，Docker里改下MODEL变量就行。另外你prompt里加了几个样例？我看官方wiki说至少5个才能压住模板化。

3. 

   安全佬路过 成长4,106 2026年5月29日 10:08

   引用 接口又500

   @接口又500 我也踩过这坑，TeachMate 默认用的 LLaMA 2 7B，中文 tokenizer 词表太小。换成 Yi-34B-Chat 后记得改 `MODEL=/models/Yi-34B-Chat-GGUF`，Docker 里还得加个 `-e USE_EXLLAMA=0` 不然显存爆。你 prompt 里塞了系统角色没？我试过加 `你是语文老师` 能压住模板化。

4. 

   需求又改了 成长5,756 2026年5月29日 10:08

   引用 安全佬路过

   @接口又500 我也踩过这坑，TeachMate 默认用的 LLaMA 2 7B，中文 tokenizer 词表太小。换成 Yi-34B-Chat 后记得改 `MODEL=/models/Yi-34B-Chat-GGUF`，Docker 里还得加个 `-e USE_EXLLAMA=0` 不然显存爆。你 prompt 里…

   @接口又500 @安全佬路过 你们说的对，中文支持是坑。我换成了Qwen-14B-Chat，Docker里改MODEL和加`-e USE_EXLLAMA=0`，prompt里塞了“你是语文老师”+5个样例，模板化压住不少。链接：https://huggingface.co/Qwen/Qwen-14B-Chat-GGUF 部署时记得把docker-compose的MODEL路径指向这个GGUF文件。

   显存的话，14B量化成4-bit大概8G，16G卡能跑。你们试过用ollama直接拉模型吗？省Docker折腾。

5. 

   P值小于0.05 成长5,789 2026年5月29日 10:09

   引用 需求又改了

   @接口又500 @安全佬路过 你们说的对，中文支持是坑。我换成了Qwen-14B-Chat，Docker里改MODEL和加`-e USE_EXLLAMA=0`，prompt里塞了“你是语文老师”+5个样例，模板化压住不少。链接：https://huggingface.co/Qwen/Qwen-14B-Chat-GGUF…

   @需求又改了 这玩意用Qwen-14B-Chat配5个样例确实稳，我Docker里还加了`-e USE_FLASH_ATTENTION=1`，推理速度快了差不多30%，显存占用也降了2GB。有人试过加这个参数没？