为什么 LLM 在 Temperature 0 下依然无法复现：动态批处理（Dynamic Batching）的深层影响

在许多大语言模型（LLM）开发者与 AI 工程师的既有认知中，将参数 temperature 设置为 0（或 0.0）就等于开启了“绝对确定性模式”。人们普遍认为，对于 DeepSeek-V3、Claude 3.5 Sonnet 或 OpenAI o3 等模型，只要输入相同的 Prompt、文档和配置参数，模型就必然输出逐字节完全一致（Byte-identical）的结果。

然而，在大规模生产环境与高并发测试中，数据展现出了一个令人震惊的事实：在并发运行的条件下，即便是 temperature=0，相同请求在两次运行之间的输出差异率竟可高达 30%。

引发这种输出不一致的根源并非采样随机性（Sampling Randomness），也不是贪婪搜索（Greedy Decoding）失效，而是 GPU 层面的动态批处理（Dynamic Batching） 以及并行 CUDA 内核中 浮点数算术非结合律（Non-associativity） 共同作用的结果。

无论你是在开发数据提取流水线、搭建 LLM 评估基准，还是通过 n1n.ai 等 API 汇总平台构建高并发 Agent 工作流，理解并解决这种非确定性都至关重要。本文将从实测数据出发，深入剖析 GPU 底层计算机制，并提供实现绝对可复现性的具体方案。

实验发现：批处理与采样的本质区别

为了明确 temperature=0 下输出漂移的真正原因，我们设计了一项针对结构化数据提取任务的实验。在整个测试过程中，模型、Prompt、输入文档以及温度设置（0.0）均保持严格不变。

实验采用 Jaccard 相似度指数 来衡量两次独立运行提取结果的重合度：

$\\text\{Jaccard\}(A, B) = \\frac\{|A \\cap B|\}\{|A \\cup B|\}$

其中 $A$ 和 $B$ 分别代表两次相同运行中提取出的记录集合。Jaccard 值为 1.0000 代表两次提取结果完全一致；数值越低，说明结果差异越大。

实验数据对比

从数据中得出的关键结论：

1. 单并发具备 100% 确定性： 在 concurrency=1 的串行执行下，两次运行提取出的 137 条记录实现了 100% 的逐字节重合（Jaccard 达到 $1.0000$）。
2. 并发 4 引入了约 30% 的结果漂移： 仅将并发度调整为 4（其他代码与配置完全一致），Jaccard 相似度迅速降至 0.7050，这意味着接近 30% 的提取输出发生了改变或退化。
3. 跨并发对比差异更为剧烈： 将 concurrency=1 的提取结果与 concurrency=4 进行对比，Jaccard 相似度进一步下跌至 0.5490。

这一数据有力地证明了：采样算法绝非导致非确定性的元凶。如果贪婪采样自身存在随机性，那么在 concurrency=1 下也绝不可能做到 1.0000 的完全复现。问题的根本在于动态批处理与并发调度。

深度技术剖析：CUDA FP16/BF16 浮点数非结合律

为什么仅仅改变并发请求的数量，就会改变神经网络的数学计算结果？

在现代 LLM 推理引擎（如 vLLM、TensorRT-LLM，以及 n1n.ai 所接入的云端大模型 API 基础设施）中，为了最大化 GPU 吞吐量与显存利用率，广泛采用了 连续批处理（Continuous Batching） 和 PagedAttention 技术。推理引擎不再单条处理请求，而是将多个并发请求的 Token 实时打包到同一个 Tensor 矩阵中，送入 CUDA Tensor Core 进行并行计算。

请求 A (单并发):  [Prompt A] --------> [固定 CUDA 内核执行顺序] -> 输出 A

请求 A (4并发):   [Prompt A] \\
请求 B:           [Prompt B]  ===> [动态批处理 Tensor 归并计算] -> 输出 A'
请求 C:           [Prompt C] /

浮点数加法的非结合律

在纯粹的实数数学体系中，加法满足结合律：$(a + b) + c = a + (b + c)$。

但在计算机浮点数运算中（尤其是 LLM 推理普遍采用的 FP16 或 BF16 混合精度），浮点数加法并不满足结合律：