通过 LLM 蒸馏与评论拆解提升 RAG 召回率

在任何检索增强生成 (RAG) 系统的演进过程中，都会遇到简单向量检索的瓶颈。你可能会发现，虽然平均倒数排名 (MRR) 表现尚可，但在处理冗长且充满噪音的对话线程时，系统往往无法准确提取出深藏其中的“正确答案”。本文将详细介绍如何通过 LLM 蒸馏 (Distillation) 和评论拆解 (Bursting) 技术对 Cerebras 知识库进行根本性重建。

核心问题：答案被淹没在噪音中

在之前的实验中，我们的向量检索实现了 0.77 的 MRR。然而，我们发现了一个持续存在的失败模式：“答案淹没”问题。在 GitHub Issue 或 Slack 频道中，真正解决问题的核心评论往往只是几十条回复中的一条。如果将整个线程嵌入为一个单一向量，该解决方案的特定语义信号就会被周围大量的“我也是”、无关日志或讨论噪音所稀释，最终在空间向量中被平均化，导致检索失效。

为了解决这一问题，我们采取了双管齐下的策略，旨在提高召回率的“天花板”，即使这在短期内会以牺牲精度为代价。

策略一：LLM 蒸馏 (Distillation)

蒸馏过程涉及使用高性能 LLM 将杂乱无章的非结构化线程重写为干净、结构化的问答 (QA) 文档。对于语料库中的每个 Issue 线程，我们现在都会触发一次 LLM 调用，生成一份包含核心问题、最终解决方案以及相关技术符号（如函数名、错误代码）的摘要。

我们采用了严格的 JSON Schema 来规范这一过程。如果模型未能返回可用的摘要，我们将回退到原始文本内容。在 3,002 个线程中，有 2,542 个成功完成了蒸馏（约 85%），另外 15% 则使用了回退机制。

在大规模实施此类方案时，性能至关重要。使用像 n1n.ai 这样的 API 聚合器，开发者可以并行处理数千次蒸馏调用，而不会触发传统平台的频率限制。通过 n1n.ai，你可以确保数据摄取管道既高效又具成本效益。

策略二：评论拆解 (Bursting)

如果说蒸馏是为了清洗文本，那么“拆解”则是为了改变向量空间的架构。我们不再为每个线程仅保留一个文档，而是将具有高信号强度的评论拆解为独立的向量行（例如 issue_N#burst_i）。

1. 机制：每个解决问题的评论都会获得自己的嵌入向量。
2. 约束：拆解出的内容会被排除在关键词搜索和 IDF 统计之外，以避免干扰全局词频统计。
3. 规范化：在评分阶段，这些行会重新关联回其父级 Issue。这确保了同一个线程不会在 Top-K 结果中占据多个位置。

通过这种方式，我们的语料库从约 3,700 个文档增加到了 16,315 个，为检索器提供了更多进入同一数据的“入口点”。

评估结果：看似倒退的进步

在完成重建后，我们针对固定的 31 个问题集重新进行了评估。结果如下表所示：

从数据上看，重建后的表现似乎变差了。向量检索的 MRR 从 0.77 下降到了 0.63。这是为什么呢？因为蒸馏技术用“语义整洁度”交换了“字面匹配能力”。在总结线程时，LLM 可能会丢弃特定的堆栈追踪或字面错误字符串，而这些正是关键词搜索和稠密向量之前所依赖的匹配信号。

例如，查询 TypeError: Object of type int64 is not JSON serializable 在原始语料库中是排名第一的匹配项，因为字面字符串存在于原文中。但在蒸馏后的版本中，LLM 可能将其概括为“整数序列化错误”，从而丢失了精确匹配的信号。

关键转机：召回率天花板的提升

然而，有一个关键指标向着正确的方向移动了：混合检索的 Recall@10 从 0.90 提升到了 0.94。

这就是所谓的“有意义的失败”。虽然我们的精度（排序能力）暂时下降了，但我们的召回率天花板（即在结果集中找到答案的能力）得到了提升。对于 31 个问题中的 29 个，正确答案现在都出现在了前 10 名中。问题已经从“找不到答案”变成了“答案就在那里，只是没有排在第一名”。

专家建议：为重排序 (Rerank) 做准备

这种指标的转变完美地为下一阶段的重排序器 (Reranker) 铺平了道路。基于排名的融合算法（如 RRF）对置信度是盲目的；如果有两个文档排名第一，它无法区分余弦相似度 0.95 和 0.70 的质量差异。通过在后续阶段引入重排序器，我们可以对这个高召回率系统检索出的前 20 个候选文档进行精细排序。

在构建此类流水线时，开发者经常会担心多次 LLM 调用带来的延迟。使用 n1n.ai 可以访问全球最领先且低延迟的模型，确保添加重排序步骤不会破坏用户体验。对于需要高吞吐量 RAG 服务的企业，n1n.ai 提供的统一接口是理想的选择。

总结

为了提升召回率而进行的重建工作往往会让人感觉是在退步，因为精度指标会下降。但在 RAG 系统中，召回率决定了系统能力的上限。通过 LLM 蒸馏清洗数据并使用拆解技术暴露隐藏信号，我们已经成功构建了一组高质量的候选集，只待重排序器来完成最后的精准排序。

在 n1n.ai 获取免费 API 密钥。