大模型工具调用中空回复与重试循环的技术解析

在使用大语言模型构建生产级应用程序时，开发者往往将主要精力集中在吞吐量和基础延迟上。然而，诸如函数调用过程中的空回复等静默失败问题，常常在早期评测中被忽视。在近期针对300个公共函数调用任务的测试中，Mistral Small在经过两次重试的情况下依然返回了58次空回复。本文将深入探讨这一现象产生的原因、重试循环如何隐蔽地推高真实的API成本，以及开发者如何通过诸如 n1n.ai 的高性能API聚合服务来有效规避此类风险。

函数调用中静默失败的真实成本

从表面上看，价格低廉的轻量级模型对企业极具吸引力。当模型每百万输入代币的定价非常低时，开发人员自然会预期极高的成本效益。然而，生产环境中往往隐藏着一个成本倍增器——重试循环。

当模型无法输出可读的字符串时会发生什么？生产环境中的代码无法自动判定语义上的答案是否正确，但却能轻易检测出空字符串或格式错误的JSON。因此，调用框架通常会实现重试逻辑。每一次尝试——无论最终成功还是返回空白——都会被提供商计费，并被日志系统记录下来。

在我们对300行数据和9个模型进行的基准测试中，数据揭示了惊人的事实：

• Mistral Small 为300个任务执行了434次尝试，产生了134次重试。
• 有 58个任务 耗尽了全部3次尝试机会，最终依然毫无输出。
• 在134次重试中，有 116次 消耗在那些最终未能恢复的任务上。
• 重试消耗占该模型总支出的 23.9%。

尽管其初始的单次调用成本看似低廉，但由于重试造成的代币浪费，每个成功任务的实际成本大幅上升。相比之下，诸如 GPT-6 Luna 之类的模型在没有任何重试的情况下，一次性通过率达到了93.0%，充分证明了模型稳定性往往比标称的代币价格更为重要。

重试框架的核心逻辑解析

为了解这些成本是如何累积的，让我们审视标准的评估与重试框架是如何处理JSON解析和尝试跟踪的。一个健壮的框架会严格区分无法解析的输出（触发重试）与语义错误但可解析的输出（视为最终结果）。

function parseJsonLoose(text) {
  if (typeof text !== "string" || text.trim() === "") return { ok: false, reason: "empty output" };
  let t = text.trim();
  const fence = t.match(/```(?:json)?\\s*([\\s\\S]*?)```/i);
  if (fence) t = fence[1].trim();
  const a = t.indexOf("{");
  const z = t.lastIndexOf("}");
  if (a === -1 || z <= a) return { ok: false, reason: "no JSON object in output" };
  return { ok: true, data: t.substring(a, z + 1) };
}

执行循环会对每一次尝试进行计费和记录，直到首次成功解析为止：

for (let a = 0; a <= config.retries; a++) {
  const res = await transport({
    model,
    messages,
    max_tokens: maxTokens,
    temperature: config.temperature,
    extra: extra && extra.body
  });
  const { cost, estimated } = res.ok ? attemptCost(res, model, prices) : { cost: 0, estimated: false };
  const rec = { ms: res.ms, cost, cost_estimated: estimated, status: res.status };
  
  const j = judge(config, res.text, row);
  rec.valid = j.valid;
  attempts.push(rec);
  
  if (j.valid) {
    last = { outcome: j.pass ? "pass" : "wrong", reason: j.reason, output: res.text };
    break;
  }
  last = { outcome: "invalid", reason: j.reason, output: res.text };
}

当通过像 n1n.ai 这样的聚合器分发高并发请求时，透明地获取每次尝试的延迟和错误状态码，对于在预算耗尽前调试这些静默失败至关重要。

剖析空回复的具体表现

这种行为并非所有低成本模型的通病；在测试的9个模型中，有6个模型完全不需要重试，其余模型的重试次数也极少。这表明问题根源于特定模型的提示词适配性。

以 tc-2 行数据为例：

• 可用工具： generate_random_number(min, max), calculate_loan_payment(loan_amount, interest_rate, loan_term)
• 用户提示词： Hi, I need a random number between 1 and 100.
• 期望输出： `{"name":"generate_random_number