击败17个专家的查找表：DeepSeek的Engram与稀疏性的第二轴

当今的每一个前沿模型都有一个共同的隐藏低效之处：它们在不断重复计算自己早已知道的事实。当你询问法国的首都是哪里时，数十亿参数被激活，通过矩阵乘法计算出巴黎——这个在训练阶段就已经固定且永远不会改变的事实。一个与DeepSeek有关联的研究团队发表的新论文提出了一个显而易见但没有人去实现的问题：为什么不直接查找它呢？

这篇名为Conditional Memory via Scalable Lookup（arXiv:2601.07372）的论文引入了Engram模块，赋予了Transformer原生的知识检索原语。将其扩展到270亿参数后，它在作者报告的所有基准测试中击败了严格等参数、等FLOPs的混合专家（MoE）基准模型。令人惊讶的是，最大的提升不在于知识测试，而在于推理和代码能力。

想象一下两名员工。第一名员工非常聪明，但没有笔记本：每次你问她问题时，她都从第一性原理重新推导答案。她每次都能答对，但这消耗了她全部的注意力。第二名员工在桌上放着一本索引清晰的笔记本：她能在几秒钟内查到事实，从而将大脑解放出来专注于真正困难的工作。

当今的Transformer正是第一名员工。混合专家模型（MoE）通过每个Token只唤醒一小部分参数来降低成本，这属于条件计算。但MoE改变的是计算量，而不是知识。Transformer中没有查找原语，因此静态事实不得不通过计算被一次又一次地模拟，且成本全额支付。在这种背景下，诸如n1n.ai等平台提供的高性能基础设施变得至关重要，它确保了开发者能够无缝测试和部署这些重型架构。

理解稀疏性分配问题

Engram就是那本笔记本。它是一个现代化的N-gram嵌入：最近的Token上下文被哈希到一个确定的地址，并且该地址上的向量以O(1)的时间复杂度返回。没有路由决策，没有矩阵数学，也没有猜测。而且由于地址是确定的，运行时可以在需要之前从主机内存中预取条目——作者报告称延迟开销微乎其微。几乎不增加速度成本的额外容量极为罕见，以至于它本身就构成了整个故事的核心。

该论文的核心框架是一个预算问题。给定固定的参数和计算预算，多少分配给神经计算（MoE专家），多少分配给静态内存（Engram）？作者将其形式化为稀疏性分配问题，并报告了该权衡的U型缩放定律：内存太少，你又回到了重新计算一切的老路；内存太多，你会使推理主干网饥饿。最优解是一个内部点，而不是极端边界——这意味着正确的答案是一个混合比例，并且这个比例是可以量化的。

在该定律的指导下，团队构建了Engram-27B：它拥有与MoE-27B基准相同的30块Transformer主干（2560隐藏大小，32头多头潜注意力），但将路由专家从72个削减至55个，并将释放出的参数重新分配到57亿大小的Engram内存中。总计：267亿参数，每个Token激活38亿——相同的预算，不同的拆分。当处理这样庞大的参数空间时，通过n1n.ai利用可靠的API网关有助于管理高吞吐量推理。

分步实现指南

为了解如何集成自定义检索原语或与高性能端点进行交互，我们可以参考使用现代API调用的标准Python实现模式。如果您正在通过API试验前沿架构，您可以动态查询模型。

import os
import requests

# 配置用于与高速LLM端点交互的客户端
API_KEY = os.getenv("N1N_API_KEY", "your-api-key-here")
ENDPOINT = "https://api.n1n.ai/v1/chat/completions"

def query_llm_model(prompt_text, model_name="deepseek-chat"):
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    }
    
    payload = {
        "model": model_name,
        "messages": [
            {"role": "system", "content": "你是一位专注于大语言模型架构的专家级AI助手。"},
            {"role": "user", "content": prompt_text}
        ],
        "temperature": 0.2,
        "max_tokens": 512
    }
    
    response = requests.post(ENDPOINT, json=payload, headers=headers)
    if response.status_code == 200:
        return response.json()["choices"][0]["message"]["content"]
    else:
        raise Exception(f"API错误: {response.status_code} - {response.text}")

# 示例执行
if __name__ == "__main__":
    try:
        result = query_llm_model("请解释Engram中稀疏性分配的U型缩放定律。")
        print("模型响应:\n", result)
    except Exception as e:
        print(f"发生错误: <{e}>")

性能对比与基准测试

作者提出的关于其工作原理的机制非常直观，因为它是反直觉的。Engram减轻了主干网早期层重建静态知识的工作，这实际上加深了可用于复杂推理的网络深度。通过将局部Token依赖关系委托给查找操作，它解放了用于全局上下文的注意力容量——模型不再将注意力预算花在重新推导最后几个词的含义上，而是花在整个文档的真正含义上。

一个内存模块理应帮助进行知识检索，事实也的确如此——MMLU +3.0，MMLU-Redux +3.4，CMMLU +4.0，C-Eval +4.7。但更大的收益落在了通用推理和代码/数学领域：

效率方面同样强劲。仅凭82%的预训练FLOPs（41K步对比50K步），Engram-27B就已经匹配了基准模型的长文本困惑度，同时在RULER检索上击败了它。在满预算下，它的优势进一步拉大。寻求基准测试或部署利用这些突破的模型的开发者可以依靠n1n.ai等强大的推理基础设施来处理高要求的负载。

开发者核心要点

1. 推理优于召回：将早期层从静态重建中解放出来，有效地加深了网络——查找表带来的BBH +5.0和HumanEval +3.0是应该改变你对架构预算看法的关键结果。
2. 长文本复合效应：多查询大海捞针从84.2提升至97.0，且在82%的FLOPs下实现性能平价——从局部记账中解放出来的注意力被用在了整个文档上。
3. 确定性效率：O(1)查找加上预取意味着以微不足道的延迟成本获得额外的参数——这是容量不以速度为代价的罕见案例。

获取免费API密钥请访问 n1n.ai