预算 998 美元训练 3.8B 大语言模型：架构设计、数据清洗与 CORE 评估实战

过去，从零预训练一个高质量的大语言模型（LLM）往往被认为是科技巨头的专属竞技场，动辄需要数十万至数百万美元的算力投入。然而，开源社区正通过更加精细的架构设计、极其严格的数据清洗以及极致的算力利用率，迅速打破这一壁垒。

AI 研究员 Hugo Vergnes 近期公布的一项实验表明：仅凭 998 美元 的硬件预算，就能从零预训练出一个拥有 38 亿（3.8B）参数的大语言模型，并在 CORE（Comprehensive Open Research Evaluation）综合评估基准中取得了 0.384 的高分。

这一成果重新定义了轻量级大模型 pre-training 的性价比极限。本文将从硬件算力调度、模型架构选择、高质量数据集清洗以及分布式训练代码实现等多个维度进行深度拆解，并探讨企业在面对自建小模型与调用 API 服务（如 n1n.ai）时的战略选择。

一、核心指标拆解：什么是 CORE 基准与 0.384 成绩？

为了客观评估模型的真实推理能力，避免出现数据集污染或“刷榜”现象，该项目选用了 CORE 评估基准。CORE 综合了多任务逻辑推理、结构化指令遵循、数学计算以及自然语言理解等多个核心维度，能够准确反映模型在未见领域中的泛化能力。

在 3.8B 参数量级下达到 0.384 的 CORE 得分，意味着该模型在多项能力指标上已接近或超越早期的 LLaMA-1 7B 架构，而其训练成本仅为后者的百分之一。

常见轻量级模型性能与成本对比

模型名称	参数量	训练 Token 总量	估计训练成本	CORE 评估得分	核心优势与特点
Hugo Vergnes 3.8B	3.8B	~450B	$998	0.384	极致性价比、精细化数据集
SmolLM-1.7B	1.7B	1.0T	~$4,000	0.362	适合端侧设备部署
Phi-2	2.7B	1.4T	~$25,000+	0.420	高度依赖高质量合成数据
LLaMA-3 8B	8.0B	15.0T	~$2,000,000+	0.650	行业基准开源大模型

要在不到 1000 美元的预算内做到 0.384 的成绩，必须将“单位美元产出的 Token 学习效率”推向极限。

二、硬件算力与 998 美元预算分配策略

如何在有限的资金约束下完成 4500 亿（450B）高价值 Token 的训练？关键在于算力市场的选择与计算算力的极致压榨。

1. 算力节点选择：Spot 竞价实例

该项目没有选择传统云厂商的高价固定合约，而是转向按需计费的去中心化 GPU 算力平台与 Spot 竞价实例（如 RunPod、Lambda Labs 或 Vast.ai）：

算力硬件：8x NVIDIA H100 (80GB SXM5) 或 8x NVIDIA A100 (80GB) 节点。
Spot 租用单价：每 GPU 小时均价控制在 1.80 美元至 2.20 美元之间。
总算力耗时：约 450 到 500 个 GPU 小时。
账单细项：
- GPU 节点租用：约 $910
- NVMe / S3 数据流传输与存储：约 $48
- WandB 监控与模型 Checkpoint 增量备份：约 $40
- 总计：$998

2. 吞吐率优化技术栈

为了最大化每秒处理的 Token 数（Throughput），训练管线整合了多项底层优化技术：

FlashAttention-2 / FlashDecoding：将注意力机制的时间与空间复杂度从 $O(N^2)$ 降低至 $O(N)$ ，在 4096 上下文长度下彻底杜绝显存溢出（OOM）。
bfloat16 混合精度训练：相比传统的 float16，bfloat16 提供了更大的动态数值范围，无需额外的 Loss Scaling 即可确保训练稳定性。
PyTorch 2.x torch.compile() 算子融合：将 LayerNorm 激活函数与矩阵运算融合为单一 CUDA Kernel，将 GPU 的模型算力利用率（MFU）提升至 68% 以上。

三、模型架构与数据策略：数据质量高于数据数量

在极低预算训练场景中，计算资源决定了 Token 上限。因此，进入模型的每一个 Token 都必须具备高信息密度。

模型架构参数表

该 3.8B 模型采用了标准的类 LLaMA Decoder-Only 架构：

隐藏层维度 (Hidden Dimension)：3072
网络层数 (Layers)：32
注意力头数 (Attention Heads)：32 (采用 Grouped Query Attention - GQA，8 个 KV 头)
激活函数 (Activation)：SwiGLU
位置编码 (Positional Embedding)：RoPE (Rotary Position Embedding)
归一化层 (Normalization)：RMSNorm (Epsilon 设为 1e-5)

数据混合配方 (Data Recipe)

模型放弃了无脑堆叠 Common Crawl 原始网页文本的做法，转而采用经过高度筛选与合成的数据配比：

FineWeb-Edu 筛选集 (60%)：过滤出高教育价值与逻辑严密性的网页文本。
Cosmopedia 与合成 Python 代码 (25%)：利用顶尖大模型生成的教材级合成数据与高质量算法代码。
OpenWebMath 与 StackExchange (15%)：数学证明、科学论文与高分技术问答。

实验证明，1 个经过高质量清洗的 Token 所带来的损失函数（Loss）下降效果，相当于 2 到 3 个原始网页 Token。

四、代码实现：高效分布式预训练管线

以下展示了基于 PyTorch、Hugging Face Transformers 与 DeepSpeed Stage-3 搭建的高效预训练配置示例：

import os
import torch
import torch.nn as nn
from transformers import AutoConfig, AutoModelForCausalLM, Trainer, TrainingArguments

# 1. 定义 3.8B 参数架构（支持 GQA 与 FlashAttention）
config = AutoConfig.from_pretrained(
    "meta-llama/Meta-Llama-3-8B

参考来源：https://hugovergnes.github.io/little-lm-3-8b/

一、 核心指标拆解：什么是 CORE 基准与 0.384 成绩？