基于排版循环工程的 PDF 大纲恢复与 RAG 优化

在检索增强生成 (RAG) 系统中，数据的质量决定了输出的上限。对于企业级开发者而言，PDF 是最常见但也最难处理的数据源。PDF 的本质是“视觉布局”而非“结构化数据”，这意味着在提取文本时，文档的层级结构（如 H1, H2, H3 标题）往往会丢失。这种结构的缺失会导致语义检索失去上下文。本文将介绍一种名为“循环工程 (Loop Engineering)”的高级方法，通过分析跨度级 (Span-level) 排版信号，并结合 n1n.ai 提供的顶级 LLM 能力，精准恢复 PDF 的大纲结构。

核心挑战：扁平化文本的陷阱

大多数标准的 PDF 解析工具（如普通的 OCR 或基础提取器）会将文档视为字符流。虽然这对于简单的关键词搜索有效，但对于 RAG 来说却是灾难性的。如果向量数据库存储了一个段落，却不知道该段落属于“季度风险评估”这一章节，那么该片段的嵌入 (Embedding) 就会失去关键的关联性。为了解决这个问题，我们需要从正文排版中逆向推导目录 (ToC)，即使文档本身没有元数据。

六个确定性排版信号

在引入 LLM 之前，我们必须首先提取文档的确定性特征。在 PDF 术语中，“跨度 (Span)”是指具有统一格式的一串字符。我们重点关注以下六个信号：

1. 字体大小 (Font Size)：标题的字号通常大于正文。我们可以计算文档的众数字号，并将所有 size > mode_size 的跨度标记为候选标题。
2. 字重 (Font Weight)：加粗 (Bold) 或特粗 (Black) 是识别标题的高精度指标。
3. 垂直间距 (Leading)：标题上方通常比标准段落拥有更多的空白区域。
4. 大小写 (Case Sensitivity)：全大写 (ALL CAPS) 的跨度通常是顶级标题 (H1) 的有力候选者。
5. 字体族 (Font Face)：从衬线字体（正文）切换到无衬线字体（标题）是强烈的结构变化信号。
6. 缩进与对齐 (Indentation & Alignment)：居中对齐或特定的左缩进通常代表特定的层级。

通过利用 n1n.ai 接入高性能模型，开发者可以构建一个鲁棒的预处理层，在进行昂贵的推理之前过滤掉大部分噪声。

循环工程的实现流程

“循环工程”是指一个受限的迭代过程：规则提出结构建议，LLM 进行验证。这确保了我们既能保持高召回率，又不会产生虚假的标题幻觉。

第一步：使用 Python 提取跨度元数据

借助 PyMuPDF (fitz) 等库，我们可以提取每个跨度及其元数据，并构建一个 pandas 数据框 (toc_df) 来追踪候选项。

import fitz
import pandas as pd

def extract_pdf_features(pdf_path):
    doc = fitz.open(pdf_path)
    data = []
    for page_num, page in enumerate(doc):
        blocks = page.get_text("dict")["blocks"]
        for b in blocks:
            if "lines" in b:
                for l in b["lines"]:
                    for s in l["spans"]:
                        data.append({
                            "text": s["text"],
                            "size": round(s["size"], 2),
                            "font": s["font"],
                            "page": page_num
                        })
    return pd.DataFrame(data)

第二步：候选标题生成

应用启发式过滤。例如，如果一个跨度的字号比正文大 20% 且加粗，则将其标记为 Candidate。

第三步：LLM 验证循环

这是“循环”发生的关键点。我们将候选标题及其上下文发送给 LLM（如通过 n1n.ai 调用 Claude 3.5 Sonnet 或 DeepSeek-V3），以验证它们是否构成了逻辑严密的层级。LLM 会识别出哪些是误报（例如加粗的图表说明），哪些是真正的结构化标题。

专家提示：使用“受限循环”。不要发送整个文档，而是发送候选标题、紧随其后的文本以及当前推断的层级路径。这能显著降低 Token 成本并减少延迟。

RAG 管道集成

一旦 toc_df 得到验证，我们将其重新注入 RAG 管道。此时，我们不再按字符数强行切片，而是按 章节 (Section) 进行切片。

为什么选择 n1n.ai 进行此工作流？

构建文档智能系统需要根据任务复杂度灵活切换模型。简单的标题校验可能只需要 GPT-4o-mini 等快速模型，而复杂的技术手册则可能需要 OpenAI o3 或 DeepSeek-R1 的逻辑推理能力。

n1n.ai 提供了统一的 API 来访问这些顶尖模型，确保您的循环工程管道既经济又高效。通过单一集成，您可以轻松测试哪种模型最适合处理特定类型的文档，而无需重写整个后端逻辑。

总结

恢复 PDF 的大纲不再是盲目的猜测。通过结合确定性的排版信号与 LLM 验证循环，您可以将混乱的 PDF 转换为结构化的知识图谱。这不仅提升了 RAG 的检索性能，还为自动摘要、合规性检查等下游任务奠定了坚实基础。

立即在 n1n.ai 获取免费 API 密钥。