使用 100 步 GRPO 微调 350M 模型实现高质量结构化输出

在当今的高并发、低延迟 AI 应用场景中，参数量在 350M（3.5 亿）左右的小型语言模型（Small Language Models, SLMs）正备受企业与开发者青睐。然而，开箱即用的轻量级模型通常在生成严格格式的结构化数据（如 JSON 语法、Pydantic 校验、函数调用参数）时表现欠佳。传统做法往往依赖上万条样本的监督微调（SFT）或复杂的 Prompt 工程，效果难以保证。

随着 DeepSeek-R1 带来的 Group Relative Policy Optimization (GRPO) 算法走红，针对输出格式的对齐训练效率得到了颠覆性提升。GRPO 去除了传统 RLHF 中的 Critic（评论员）网络，通过组内相对优势计算，仅用 100 个训练步数（Training Steps），就能让一个 350M 参数的模型实现 98% 以上的 JSON 格式与 Schema 命中率。

本文将深入解析 GRPO 的技术原理、奖励函数设计方案、基于 Hugging Face TRL 的完整代码落地实现，并探讨结合 n1n.ai 聚合 API 构建混合云端推理架构的最佳实践。

为什么 GRPO 在结构化输出任务中超越 SFT？

监督微调（SFT）的目标是最小化模型输出与目标文本之间的逐 Token 交叉熵损失。但在结构化输出（如 JSON / XML）任务中，SFT 存在两个核心痛点：

1. 格式僵化与泛化受限：SFT 会对所有与训练集中空格、换行或字段顺序不一致的语法进行惩罚，即便生成的 JSON 在逻辑与语法上完全合法。
2. 暴露偏差（Exposure Bias）：在自回归生成过程中，只要前期生成了一个未闭合的括号或多余的逗号，后续 Token 将沿着错误方向彻底崩塌。

强化学习（RL）通过对整段文本生成结果赋予标量奖励（Reward），从全局层面优化生成逻辑。然而，传统 PPO 算法需要维护一个同等规模的 Value Model（Critic 网络），使显存占用翻倍、训练吞吐量显著下降。

GRPO 的数学逻辑与计算优势

GRPO 去掉了独立的 Critic 网络。对于输入 Prompt $P$，GRPO 引导模型直接采样生成一组包含 $G$ 个候选回答的集合 $\{q_1, q_2, \dots, q_G\}$。通过奖励函数计算每个回答的得分 $R = \{r_1, r_2, \dots, r_G\}$ 后，计算其组内相对优势 $A_i$：

$A_i = \frac\{r_i - \text\{mean\}(R)\}\{\text\{std\}(R)\}$

其目标函数通过组内相对优势调节策略梯度，并使用 KL 散度约束当前策略 $\theta$ 与参考策略 $\theta_\{ref\}$ 的偏离程度：

$\mathcal\{L\}_\{GRPO\}(\theta) = -\frac\{1\}\{G\} \sum_\{i=1\}^\{G\} \left( \min \left( \frac\{\pi_\theta(q_i|P)\}\{\pi_\{\theta_\{old\}\}(q_i|P)\} A_i, \text\{clip\}\left(\frac\{\pi_\theta(q_i|P)\}\{\pi_\{\theta_\{old\}\}(q_i|P)\}, 1-\epsilon, 1+\epsilon\right) A_i \right) - \beta D_\{KL\}(\pi_\theta || \pi_\{ref\}) \right)$

由于 JSON 校验规则是确定性的逻辑判断（成功为 1，失败为 0），GRPO 能在极短的 100 步迭代中迅速抑制非法 Token 的生成概率，快速收敛到高精度的结构化输出格式。

多维奖励函数（Reward Functions）设计

为确保 350M 模型生成的 JSON 满足生产要求，需要从语法正确性、Schema 覆盖率以及样式规范三个维度组合构建奖励函数：

import json
import re
from typing import Dict, Any, List

def json_format_reward_func(completions: List[str], **kwargs) -> List[float]: