跳到内容

中午好,记得休息片刻,补充能量。

exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群

exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群

leaf
leaf
1 分钟阅读 评论 0

阅读要点

先读这里,快速了解全文在讲什么

核心结论

手里有旧笔记本、Mac mini,甚至一台吃灰的安卓机,可单机显存怎么也不够跑大模型——exo 想解决的就是这件事:把同一网络下的多台设备组成一个推理集群,让模型按层切到不同机器上跑。适合家里有闲置硬件、又想本地玩大模型的开发者和折腾党。核心看点- 自动发现组网:同局域网内的设备能互相识别,省掉手写 IP、端口和拓扑的麻烦。 - 异构混搭:Apple Silicon 与 Linux 设备可以放进同一个集群,按各自算力分担不同层。 - 开…

你可以了解到

阅读后可获得与「exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群」相关的实用信息与站内延伸资源;最后更新 2026年9月18日。

内容更新于 2026年9月18日

手里有旧笔记本、Mac mini,甚至一台吃灰的安卓机,可单机显存怎么也不够跑大模型——exo 想解决的就是这件事:把同一网络下的多台设备组成一个推理集群,让模型按层切到不同机器上跑。适合家里有闲置硬件、又想本地玩大模型的开发者和折腾党。

核心看点

自动发现组网:同局域网内的设备能互相识别,省掉手写 IP、端口和拓扑的麻烦。
异构混搭:Apple Silicon 与 Linux 设备可以放进同一个集群,按各自算力分担不同层。
开箱可用的交互:自带类 ChatGPT 的本地界面,后端对接 MLX、llama.cpp 等推理路径,常见开源模型基本能直接加载。

github.com
▲ github.com(阿里云通义万相 生成配图,非网页截图)

适合谁

典型场景是:家里有几台性能一般但联网方便的机器,想凑出更大可跑参数量,而不打算买一张大显存显卡。多机协作对局域网稳定性比较敏感,各设备需要装好 Python 环境和对应后端依赖;模型权重得自己下载,具体授权以仓库 LICENSE 和模型自身的许可条款为准。

README 里列了设备支持情况和启动命令,想先看看自己手头的设备能不能凑一桌,直接翻 exo 仓库的说明文档 更快。

常见问题

exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群 是什么?

手里有旧笔记本、Mac mini,甚至一台吃灰的安卓机,可单机显存怎么也不够跑大模型——exo 想解决的就是这件事:把同一网络下的多台设备组成一个推理集群,让模型按层切到不同机器上跑。适合家里有闲置硬件、又想本地玩大模型的开发者和折腾党。核心看点- 自动发现组网:同局域网内的设备能互相识别,省掉手写 IP、端口和拓扑的麻烦。 - 异构混搭:Apple Silicon 与 Linux 设备可以放进同一个集群,按各自算力分担不同层。 - 开…

读完本文可以了解什么?

阅读后可获得与「exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群」相关的实用信息与站内延伸资源;最后更新 2026年9月18日。

「exo:把闲置的手机和旧电脑,拼成一个能跑大模型的集群」属于哪些主题?

本文分类包括:GitHub项目。可在对应分类页查看更多相关内容。

发表评论

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.