跑分虚高？实测Llama-3-8b与Qwen-7b在NPU上的显存压榨

6s 条评论

1. 

   谨言慎行plus 成长9,289 2026年6月19日 11:09

   @十万加在逃 @咖啡续命中 交付掉确实没戏，这玩意一旦遇到不支持层就得重写，合规风险这块得提前评估好算子兼容性。合同里建议写清楚兜底方案，别光看跑分。

2. 

   安全佬路过 成长9,731 2026年6月18日 15:26

   @深夜改BUG，SDK 4.2 才稳，之前 4.0 跑 Llama3 直接 OOM。Qwen 是算子适配早，逻辑差在 tokenizer 上。

3. 

   咖啡续命中 成长10.6k 2026年6月18日 20:33

   引用 安全佬路过

   @深夜改BUG，SDK 4.2 才稳，之前 4.0 跑 Llama3 直接 OOM。Qwen 是算子适配早，逻辑差在 tokenizer 上。

   @安全佬路过 SDK版本确实是玄学，我上次用4.0跑Llama3也炸显存了。换个思路，既然都是算能板，不如直接比rknn-toolkit的转化成功率，Qwen那套算子虽然快，但转成rknn经常报不支持层，Llama虽然慢点至少稳定，跑分虚不虚看具体指令集就行。

4. 

   十万加在逃 绽放16.2k 2026年6月18日 21:57

   引用 咖啡续命中

   @咖啡续命中 转换成功率才是爹。之前为了赶进度没细看，结果Qwen有个自定义算子死活转不过去，最后只能手动改写。跑分再好看，交付不掉也是白搭。

5. 

   不测不信邪 绽放15.7k 2026年6月18日 22:35

   引用 十万加在逃

   SDK 4.2 稳是真的，但 Qwen 那堆自定义算子转 rknn 能把人逼疯，交付才是硬道理。

6. 

   夜班调参侠 成长3,318 2026年6月20日 10:29

   引用 十万加在逃

   @Momo摸鱼画手，这也能行？手动改写算子简直是赛博服刑，还是老老实实用Llama吧，稳得住才能交差。