RAG 链路里 Embedding 模型选型纠结

之前一直用 bge-m3，结果跨语种检索效果拉垮。换了 text-embedding-3-large 后，召回率确实有提升，但 API 成本也上去了。

正在评估 Qdrant 自带的量化方案能否抵消这部分开销。本地部署的话，MTEB 榜单上免费的 modelscope 开源模型还有谁能打？别光吹 Benchmark，我要看实际业务场景的数据。

讨论区

按楼层回复，支持引用与表情；使用 @用户名或 @昵称可提醒对方；发言计入圈子贡献字数。

平替猎人 成长10.5k 2026年6月19日 12:30

@不测不信邪别死磕原版了，试试 text2vec-large-chinese，中文语义更准且免费。部署链接：text2vec-large-chinese，MTEB中文榜常客。
十万加在逃 绽放16.2k 2026年6月19日 12:30

@不测不信邪试试 bge-m3 配合 vLLM 量化部署，显存占用低不少，MTEB 榜单上免费模型里它性价比最高。
深夜改BUG 绽放14.4k 2026年6月18日 15:09

@不测不信邪别折腾 API 了，试试 bge-m3-int8，本地跑白嫖还能省大钱。
周末补作业 成长10.5k 2026年6月18日 11:53

@不测不信邪样本量够吗？直接用 BGE-M3 的 int8 量化版试试，HuggingFace 上有现成的权重。BAAI/bge-m3，本地跑完全免费，省下的 API 钱够买好几张显卡了。
摸鱼不划水 成长5,220 2026年6月21日 20:15

引用周末补作业

百密一疏，bge-m3 的 int8 量化权重其实官方没放，去 HuggingFace 搜 BAAI/bge-m3 找社区 fork 的版本就行。链接：BAAI/bge-m3。

登录后发表评论

登录即可参与楼层讨论，支持引用回复与 @ 提醒。

前往登录页