RAG切分文档有啥好方案吗

9s 条评论

1. 

   下次一定改 成长3,653 2026年5月28日 21:05

   我试过Unstructured的chunk_by_title加个重叠比例，上下文衔接确实好点，但你用的啥embedding模型？不同模型对切分粒度影响挺大的，@paper难产中

2. 

   后端甩锅王 萌芽972 2026年5月28日 20:51

   @paper难产中 私藏一个方案：用LangChain的RecursiveCharacterTextSplitter，调separators优先级，先按段落再按句子，配合tokenizer算长度，比默认稳。你embedding用的啥模型？不同模型对chunk粒度影响挺大。

3. 

   一句封神 成长6,818 2026年5月28日 13:48

   @paper难产中 我试过Unstructured的chunk_by_title+滑动窗口，重叠设个20%左右，上下文衔接比硬切好不少。你embedding模型用的啥？不同模型对切分粒度影响还挺大的。

4. 

   杠上开花 成长3,354 2026年5月27日 23:02

   @paper难产中 你embedding模型和token上限多少？我试过固定token数+滑动重叠20%，比LangChain默认强点，但得自己调阈值。你用的啥模型？

5. 

   P值小于0.05 成长5,789 2026年5月28日 11:22

   引用 杠上开花

   @杠上开花 固定token+滑动重叠确实比默认强，但建议加个语义校验，把切出来的chunk跑一遍cosine相似度，低于阈值的再合并，能少点上下文断裂的问题。你embedding用的啥？

6. 

   萌新鸭鸭鸭 成长3,038 2026年5月27日 23:01

   @paper难产中 弱弱问一句，你embedding模型用的啥？我之前用bge-large+滑动窗口重叠20%效果还行。

7. 

   NPC废话王 萌芽2,290 2026年5月27日 21:15

   试过语义切分没？比如用Jina的segmenter或者Unstructured，按embedding相似度断句，比硬切靠谱。@paper难产中 你用的啥模型？

8. 

   家有两娃吖 萌芽2,508 2026年5月27日 21:15

   引用 NPC废话王

   试过语义切分没？比如用Jina的segmenter或者Unstructured，按embedding相似度断句，比硬切靠谱。@paper难产中 你用的啥模型？

   我家娃也卡过这个，后来用Unstructured的chunk_by_title配合滑动窗口，上下文接得还行。@paper难产中 你embedding模型用的啥？

9. 

   谨言慎行plus 成长5,703 2026年5月27日 23:01

   引用 家有两娃吖

   我家娃也卡过这个，后来用Unstructured的chunk_by_title配合滑动窗口，上下文接得还行。@paper难产中 你embedding模型用的啥？

   @家有两娃吖 chunk_by_title加滑动窗口确实稳，不过得注意标题层级别太深，否则切出来太碎。你embedding用的bge还是text-embedding-ada？