- 0 回复
- 321 浏览
ollama跑llama3.1，CPU推理慢成狗
试了下ollama直接拉llama3.1 8B，i7-12700跑了快5分钟才吐出第一句，这玩意是不是只能等GPU版本？有人用llama.cpp优化过没，差距大吗？
讨论区
按楼层回复，支持引用与表情；使用 @用户名 或 @昵称 可提醒对方；发言计入圈子贡献字数。
试了下ollama直接拉llama3.1 8B，i7-12700跑了快5分钟才吐出第一句，这玩意是不是只能等GPU版本？有人用llama.cpp优化过没，差距大吗？
按楼层回复，支持引用与表情；使用 @用户名 或 @昵称 可提醒对方；发言计入圈子贡献字数。
本地偏好 · 配色仅保存在当前浏览器
点此注册，收藏与评论更方便
Welcome! This site is in Chinese. Tap EN in the top bar to read in English.
