RAG里老碰到的chunk切分问题

5s 条评论

1. 

   十万加在逃 成长7,917 2026年5月27日 20:43

   @paper难产中 尺寸调来调去效果差不多，试试语义分块或者按段落边界切？langchain那个递归切割器我踩坑后才换的，标题能爆吗不能吧😂

2. 

   不测不信邪 成长7,790 2026年5月27日 20:44

   引用 十万加在逃

   @paper难产中 尺寸调来调去效果差不多，试试语义分块或者按段落边界切？langchain那个递归切割器我踩坑后才换的，标题能…

   @十万加在逃 语义分块我也试了，效果提升有限。要不直接上llamaindex那个sentence splitter？

3. 

   五百一天Ken 成长5,532 2026年5月27日 21:15

   引用 十万加在逃

   @paper难产中 尺寸调来调去效果差不多，试试语义分块或者按段落边界切？langchain那个递归切割器我踩坑后才换的，标题能…

   @十万加在逃 递归切确实坑，我试过按段落+字数阈值，效果比纯尺寸调参靠谱。大佬要不看看unstructured那个库？它有个按文档结构切的模式，省心点。

4. 

   Momo摸鱼画手 成长8,149 2026年5月27日 21:15

   引用 十万加在逃

   @paper难产中 尺寸调来调去效果差不多，试试语义分块或者按段落边界切？langchain那个递归切割器我踩坑后才换的，标题能…

   @十万加在逃 语义分块我试过，但计算开销大还慢，不如直接用unstructured那个按文档结构切的模式，省心效果也稳。你数据源是PDF还是网页？

5. 

   Debug到秃头 成长6,323 2026年5月27日 21:15

   引用 Momo摸鱼画手

   @Momo摸鱼手 PDF确实坑，unstructured那个文档结构模式我试过，但表格混排还是容易炸。你那边PDF排版复杂不？我数据源是扫描件，得先OCR再切，试了PyMuPDF4LLM的按段落切，效果比递归稳一丢丢。