阅读要点
先读这里,快速了解全文在讲什么
核心结论
想在本地跑一个会调工具、能推理的开源模型,又不想被一堆胶水脚本劝退?openai/gpt-oss 把权重、参考推理实现和对话格式放在同一个仓库里,做模型部署和 Agent 的开发者可以直接照着跑通,再决定要不要接进生产。核心看点- 两种规格的 MoE 权重:gpt-oss-20b 与 gpt-oss-120b 分别面向单卡和多卡场景,量化方案已按主流推理栈准备好。 - Harmony 对话格式:仓库给出了结构化的消息与工具调用约定,不用…
你可以了解到
阅读后可获得与「gpt-oss:OpenAI 放出权重,单卡也能跑起推理」相关的实用信息与站内延伸资源;最后更新 2026年10月20日。
延伸阅读
想在本地跑一个会调工具、能推理的开源模型,又不想被一堆胶水脚本劝退?openai/gpt-oss 把权重、参考推理实现和对话格式放在同一个仓库里,做模型部署和 Agent 的开发者可以直接照着跑通,再决定要不要接进生产。
核心看点
– 两种规格的 MoE 权重:gpt-oss-20b 与 gpt-oss-120b 分别面向单卡和多卡场景,量化方案已按主流推理栈准备好。
– Harmony 对话格式:仓库给出了结构化的消息与工具调用约定,不用自己反复拼 system prompt 猜格式。
– 生态接得上:README 里直接列出 transformers、vLLM、Ollama、llama.cpp 等加载路径,省掉从零写推理脚本那一步。

上手提示
最省事的做法是先按 README 用现成推理框架加载,确认显存和量化配置撑得住,再接自己的 Agent 流程。需要 GPU,纯 CPU 跑体验会比较勉强;也可以走托管 API,但要额外准备 key。代码与权重以 Apache-2.0 发布,另附使用政策,具体条款以仓库 LICENSE 为准。
想看清目录结构、示例脚本和各框架的加载差异,直接翻 gpt-oss 仓库首页 的 README 更快。

