解决大型数据库架构中的 Text-to-SQL 关联幻觉问题

构建一个生产级别的 Text-to-SQL（文本转 SQL）代理在演示中看似简单，但在真实的业务环境中却极具挑战。当你的数据仓库扩展到 900 多张表时（例如大型 ClickHouse 部署），传统的 RAG（检索增强生成）方法（即简单地将 Schema 塞进 Prompt）会彻底失效。最常见的失败表现是：大语言模型（LLM）开始在完全没有物理或逻辑关联的表之间捏造复杂的 JOIN 操作。

在本教程中，我们将探讨如何通过 n1n.ai 集成高性能模型，并成功约束本地 LLM 处理海量架构而不产生幻觉。通过将表检索与关联逻辑分离，并实现“信任加权关联图”，我们将查询失败率降低了 60% 以上。

核心挑战：架构过载与关联幻觉

在处理如此庞大的架构时，开发者通常会遇到两个主要障碍：

1. 表选择失误：由于语义相似性过于宽泛，模型经常选错表。
2. 关联幻觉 (Join Hallucination)：即使模型找到了正确的表，它也不清楚确切的关联键（Keys）或数据粒度（Grains），从而导致盲目猜测。

天真的实现方案通常尝试编写一个“超级提示词 (Mega-Prompt)”。然而，即使是像 DeepSeek-V3 或 Claude 3.5 Sonnet（可通过 n1n.ai API 聚合器访问）这样的一流模型，在处理数千行 DDL 时也会出现上下文瓶颈和注意力衰减。解决方案是将智能逻辑从 Prompt 中移出，转入系统架构设计中。

第一阶段：基于 RRF 的混合检索策略

从 900 张表中找到正确的表本质上是一个检索问题。我们发现，单纯依靠向量搜索（如使用 bge-m3 嵌入）往往会漏掉特定的技术标识符。为此，我们在 Postgres 中结合 pgvector 和 pg_trgm 实现了混合搜索策略。

为什么向量搜索不够？

向量搜索擅长概念匹配（例如，“存储卷”匹配 array_ldev_config）。但在处理缩写或特定列名（如 serial_no）时，它的表现并不理想。我们并行运行两路搜索：

1. 语义搜索：计算 Embedding 的余弦距离。
2. 三元组搜索 (Trigram Search)：利用 pg_trgm 对表名和列名进行模糊字符串匹配。

为了合并这两路结果而无需手动调整权重，我们采用了 倒数排名融合 (Reciprocal Rank Fusion, RRF)。RRF 的得分公式如下：

RRFScore(d) = \sum_{r \in R} \frac{1}{k + r(d)}

其中 $k$ 通常取值为 60。这确保了在任一搜索列表中排名靠前的表都能获得显著的权重提升。

第二阶段：构建信任加权关联图 (Join Graph)

这是解决问题的核心。我们不再让 LLM 自行决定如何关联表，而是为其提供一条预先验证过的路径。我们将整个数据仓库建模为一个有向图，节点是表，边是允许的关联关系。

边的元数据与风险惩罚系数

图中的每一条边都带有一个基于“信任等级”的权重：

Dijkstra 算法的应用

当检索步骤返回候选表（如表 A 和表 B）时，我们不直接要求 LLM 关联它们，而是在图中运行 Dijkstra 最短路径算法，寻找总权重最低（风险最低）的路径。

例如，如果用户询问“存储成本”，检索系统找到了 billing_table 和 storage_config，图算法可能会发现它们必须通过中间表 asset_mapping 才能关联。我们将这一具体的 JOIN 逻辑作为约束直接注入 LLM 的 Prompt 中。

第三阶段：文档即代码 (Markdown Domain Cards)

为了保证系统的可维护性，我们避免将图结构硬编码。相反，我们使用基于 Markdown 的“领域卡片”。这些文件存储在 Git 中，作为索引器和开发者的唯一事实来源。

storage.md 示例：

---
domain: storage
tables_primary:
  - warehouse.array_ldev_config
  - warehouse.array_iops_stats
---

# 表关联说明

- warehouse.array_iops_stats 关联 warehouse.array_ldev_config
  基于 serial 和 ldev_id
  数据粒度: 1:N

专家建议：如何为 Text-to-SQL 选择合适的 LLM？

对于 SQL 生成等复杂推理任务，模型的指令遵循能力至关重要。虽然本地模型在隐私保护方面表现优异，但在推理深度上往往不及顶级 API 模型。我们建议使用 n1n.ai 来测试您的本地模型与 Claude 3.5 Sonnet 或 OpenAI o3 的差距。通常情况下，通过 n1n.ai 调用高性能 API 进行“SQL 规划”，而使用本地模型处理简单的查询任务，可以达到最佳的性价比。

处理数据粒度与扇出问题

Text-to-SQL 的一个重大陷阱是“扇出 (Fan-out)”问题，即错误的关联导致行数翻倍，从而使 SUM 等聚合计算结果错误。在我们的关联图中，我们明确存储了表的 Grain（粒度）。如果 LLM 尝试进行的关联会导致非预期的行数翻倍，我们的校验层会在执行前拦截该查询。

SQL 校验逻辑

在查询提交给 ClickHouse 之前，我们会进行模拟运行或使用基于 LLM 的校验器（例如通过 n1n.ai 调用的 GPT-4o）检查：

1. 所有的 JOIN 是否遵循了图路径？
2. GROUP BY 的聚合级别是否与表的粒度一致？
3. 是否包含了必要的过滤条件（如 load_date）以防止全表扫描？

总结

防止 LLM 捏造 JOIN 并不是要写出更好的提示词，而是要构建更稳固的架构。通过实现基于 RRF 的混合检索和信任加权关联图，你可以将混乱的猜测过程转化为确定性的搜索过程。

对于希望大规模实现此方案的开发者，使用像 n1n.ai 这样强大的 LLM API 聚合器，可以让你在不同模型间无缝切换，找到最能理解你特定架构约束的模型。

在 n1n.ai 获取免费 API 密钥。