RAG 重复文档进库:相似度过掉还是按主键去重

同一份超时规范,邮件、网盘、wiki 三个渠道各灌了一遍,三份全都还在库里。问它默认值是多少,有时候答 3 秒,有时候答 30 秒——那份 30 秒的副本封面上还带着 Logo,写得更长,也更像一句问句,越像问句的副本分数反而越高,越高的分数就把现行内容挤到后面去了。挤掉之后,有人提议用相似度算法把重复内容删掉,可删。