DeepSpeed 不止省显存：训练推理一把抓的开源提速库
如果你和我一样，在本地调大模型时总被 OOM 劝退，De…
llamafile：把大模型打包成单文件，双击就能跑
跑本地大模型是不是总要先装 Python、配 CUDA、…
Transformers.js：不用服务器，浏览器里直接跑大模型推理
如果你主要写前端，又想让页面里直接跑模型，这个库值得点开…
Meta SAM 2：开源图像分割模型，物体追踪与视频遮罩一气呵成
搞计算机视觉的朋友肯定对 Meta 的 SAM 不陌生，…
DeepSeek-R1 开源推理模型：纯 RL 让大模型学会反思，效果直逼 o1
遇到复杂推理题时，很多模型要么直接猜答案，要么绕来绕去不…
FastChat：大模型部署与聊天评测的开源利器，开发者必看
如果你正为部署一个大模型做聊天服务而焦头烂额，或者想快速…
Whisper.cpp：纯C++本地语音识别，轻量部署与离线推理利器
厌倦了云端语音识别的高延迟和隐私问题？Whisper.c…
Tabby 自部署的 AI 代码助手，终结 Copilot 隐私焦虑
如果你正在用 GitHub Copilot 却担心代码被…
Text Generation WebUI: 本地跑LLM的最强开源面板
厌倦了给大模型平台充API额度？想私有化部署却卡在命令行…
MLC LLM：大模型边缘推理新选择，手机浏览器秒跑开源LLM
还在为本地跑大模型必须配高端GPU发愁？MLC LLM …
