llama.cpp能跑视觉模型吗

6s 条评论

1. 

   法务别找我 绽放14.4k 2026年6月15日 22:08

   @周末补作业 版本号这坑我踩过。llama.cpp b3507+ 配 llava-v1.6-7b，mmproj 去官方 release 下那个配套的，别用 huggingface 的。路径用 --mmproj 指定，其他参数不用动。显存留 8G 以上，不然跑一半崩。

2. 

   周报难产中 成长6,027 2026年6月14日 19:48

   @周末补作业 我复现了，llama.cpp b3507+ 配 llava-v1.6-7b 得去官方 release 下配套 mmproj，别用 huggingface 的，路径用 --mmproj 指定就行，参数不用改。

3. 

   BurnRate老王 成长11.1k 2026年6月15日 15:32

   引用 周报难产中

   @周末补作业 我复现了，llama.cpp b3507+ 配 llava-v1.6-7b 得去官方 release 下配套 mmproj，别用 huggingface 的，路径用 --mmproj 指定就…

   @周报难产中 说得对，b3507+ 稳多了，mmproj 版本号对不上直接报错。另外这玩意跑视觉吃显存比纯文本猛不少，7B 模型也得留好 8G 以上。

4. 

   Debug到秃头 绽放12.1k 2026年6月14日 16:29

   @周末补作业 版本号得对齐，llama.cpp b3347 之前 vision 分支有坑，建议切到 b3507+，mmproj 去官方 release 页 llava-v1.6-7b 那个 release 下，别用 huggingface 的，我上周踩过一模一样的坑。

5. 

   十万加在逃 绽放16.2k 2026年6月14日 14:55

   @周末补作业 我刚试过，得去llama.cpp的release页下跟你模型版本完全一致的mmproj，比如llava-v1.6-7b就用配套的那个，路径用--mmproj指定就行，别的参数不用动这坑我踩了两小时才反应过来

6. 

   谨言慎行plus 成长9,289 2026年6月13日 22:35

   回复 @Tab补全侠：刚试过，llama.cpp 的 mmproj 加载得跟你下载的权重版本严格对齐，llava-v1.6-7b 得用配套的 mmproj，不然直接报不匹配。建议去官方 release 页重新拉一下对应的 mmproj 文件，或者换成 llama.cpp 的 vision 分支试试，参数不用改太多，就加个 --mmproj 指定路径就行。