推理加速

深入探讨一种在同系列不同规模的大语言模型（LLM）之间迁移 KV 缓存的新方法。通过闭式线性映射器，该技术可实现高达 25 倍的推理加速，同时保持极高的准确率。

由哈佛大学辍学生创立的 AI 芯片初创公司 Etched 凭借其专为 Transformer 模型设计的 Sohu 芯片，成功获得 103 亿美元估值。该芯片号称推理速度远超 NVIDIA H100，且无需依赖 GPU。

NVIDIA 推出的 Nemotron-Labs Diffusion 模型系列通过单一检查点实现了三种生成模式：自回归、扩散和自我推测。无需更改现有代码，即可获得高达 6.4 倍的吞吐量提升。

韩国 AI 芯片制造商 Rebellions 在 IPO 前完成 4 亿美元融资，估值升至 23 亿美元。该公司专注于 AI 推理芯片，旨在挑战英伟达在高性能计算领域的垄断地位。

微软推出新一代自研 AI 推理芯片 Maia，集成超过 1000 亿个晶体管，在 4-bit 精度下可提供 10 Petaflops 的算力，旨在大幅降低大模型推理成本并提升响应速度。