MLC LLM：大模型边缘推理新选择，手机浏览器秒跑开源LLM

还在为本地跑大模型必须配高端GPU发愁？MLC LLM 是专为边缘设备设计的推理引擎，目标就是让模型在手机、笔记本甚至浏览器里也能流畅运行。如果你经常需要把LLM部署到非云端环境，或者想研究量化与编译优化的实战方案，这个仓库值得你从头翻一遍 README。

核心看点

– 跨平台后端全覆盖：支持 Metal（macOS/iOS）、Vulkan（Android/Linux）、CUDA（NVIDIA）以及 WebGPU（浏览器），一套代码适配多种硬件。
– 编译+量化双优化：通过 TVM 编译器对模型进行自动代码生成和 int4/int8 量化，推理速度与显存占用都大幅优化，实测在旗舰手机上可达每秒数十 token。
– 即装即用与自定义双模式：提供预编译的 Python/CLI 包，直接运行主流模型（Llama、Mistral、Gemma 等）；也开放编译管道，允许你优化自己的模型权重。

上手提示

– 场景：需要低延迟本地推理的 APP 开发者、研究边缘部署的算法工程师，或想在没有 GPU 的笔记本上体验 LLM 的爱好者。
– 依赖：Python 3.10+，安装 mlc-llm 和对应后端依赖（如 Vulkan SDK）；若只需 Web 版，直接导入 WebLLM npm 包即可。
– 许可：采用 Apache-2.0 许可证，商业友好，但模型权重需单独下载并遵守各自许可。

打开仓库的 MLC LLM README，里面附带了手机端 Demo 二维码、性能基准和详细的编译指南，刷一遍就能判断它能否解决你的边缘部署痛点。