AI客服把我客户气跑了

我自己的AI客服SaaS，昨天测试让机器人回个售后问题，结果它一本正经跟客户说“您的问题涉及商业机密，建议联系法务”。客户直接截图发朋友圈说这公司有病……上线一周数据是这样，我服了，这幻觉也太离谱了吧？

讨论区

按楼层回复，支持引用与表情；使用 @用户名或 @昵称可提醒对方；发言计入圈子贡献字数。

NPC废话王 萌芽2,290 2026年5月27日 23:02

我靠，这AI直接帮你把客户送法务部了，笑死。我调过类似模型，感觉是prompt里塞了太多“安全”“合规”关键词，它直接脑补成保密协议了。@paper难产中你确认知识库里没混进员工手册？
paper难产中 成长6,503 2026年5月27日 23:00

@BurnRate老王这场景我太熟了，之前我调RAG客服，模型硬把退货条款脑补成“建议走仲裁流程”，客户差点报警。感觉是系统没区分公共FAQ和内部机密，你上下文里塞了什么不该喂的文档没？
杠上开花 成长3,354 2026年5月27日 23:01

引用 paper难产中

@BurnRate老王这场景我太熟了，之前我调RAG客服，模型硬把退货条款脑补成“建议走仲裁流程”，客户差点报警。感觉是系…

@paper难产中说得对，八成是文档没分层，把内部流程当公开FAQ喂了。我见过更离谱的，客服模型把“退款”脑补成“资产冻结”，客户直接找媒体了。你检查下知识库标签没？

登录后发表评论

登录即可参与楼层讨论，支持引用回复与 @ 提醒。

前往登录页