在 Amazon SageMaker AI 上使用多轮强化学习微调搜索 AI Agent

构建具备复杂信息检索能力的自主 AI Agent，需要在多轮推理能力、端到端响应延迟以及运行成本之间取得微妙的平衡。尽管像 Claude 3.5 Sonnet 或 DeepSeek-V3 这样的前沿模型在零样本（Zero-shot）工具调用方面表现出色，但在需要多步迭代的搜索任务中，频繁调用顶尖 API 会迅速推高调用成本并引入显著的网络延迟。开发者通常可以使用高效稳定的 API 路由平台如 n1n.ai 来建立初始基准评估；但当面临每秒上千次并发的高频工具调用场景时，基于自托管开源模型进行针对性微调往往是更好的选择。

通过多轮强化学习（Multi-Turn Reinforcement Learning, MTRL），我们可以将前沿模型的复杂决策能力蒸馏并迁移到轻量级开源模型（如 Qwen2.5-7B 或 Llama-3.1-8B）中，使其在特定的 API 工具环境下表现出卓越的稳定性。本文将深度解析如何在 Amazon SageMaker AI 平台上使用组相对策略优化算法（Group Relative Policy Optimization, GRPO）微调多轮搜索 Agent，涵盖环境设计、轨迹建模、自定义奖励函数及生产环境部署策略。

从单轮 RAG 到多轮 RL Agent 的范式演进

传统的检索增强生成（RAG）依赖于单轮简单流水线：用户 Query $\\rightarrow$ 向量检索 $\\rightarrow$ 上下文拼接 $\\rightarrow$ 生成最终回答。然而，在真实业务场景的高阶信息搜集任务中，Agent 需要具备动态的多轮交互能力：

1. 构造初次搜索 API 调用的 Payload 参数。
2. 解析返回的非结构化或半结构化 JSON 搜索结果。
3. 评估当前获取信息的充分度，识别缺失的知识节点。
4. 修正搜索参数或重构检索关键词，发起下一步调用。
5. 综合多轮检索获取的信息，提炼并输出可验证的最终结论。

+----------------+      1. 构造搜索 Query       +--------------------+
|                | ---------------------------> |                    |
|  搜索 Agent    |                              |   搜索 Tool API    |
|  (策略模型 LLM) | <--------------------------- |   (向量数据库/引擎)  |
|                |      2. 返回检索到的上下文    +--------------------+
+----------------+                                        |
        |                                                 |
        | 3. 评估信息充分度                                |
        v                                                 |
  [ 决策判断 ] ---> (未满足条件) -> 循环至步骤 1 ----------+
        |
        +---------> (已满足条件) -> 4. 生成最终回答

如果在静态数据集上仅采用监督微调（SFT），开源小模型往往极易对特定的工具格式产生过拟合，且在搜索 API 返回空结果、格式异常或噪声数据时缺乏鲁棒性。

MTRL 则通过在训练过程中让策略模型与模拟工具环境进行持续交互来解决这一难题。借助 GRPO 或多轮 PPO 算法，Agent 可以在探索不同交互路径的过程中，根据整个轨迹获得的累积奖励信号，自主学习出最优的工具调用策略。

多轮强化学习框架核心机制

在多轮交互设定中，Agent 与环境的交互被建模为马尔可夫决策过程（MDP）：

• 状态空间（State Space, $S_t$）： 截至第 $t$ 轮的完整对话上下文，包括系统提示词（System Prompt）、历史搜索 Query、工具返回的 Observation 结果以及此前生成的 Chain-of-Thought 思维链 Token。
• 动作空间（Action Space, $A_t$）： 模型在当前轮次输出的 Token 序列，包含结构化的工具调用指令（如 `{"action": "search