大模型推理

来自加州大学伯克利分校的高性能推理引擎项目 SGLang 正式拆分为商业公司 RadixArk，由 Accel 领投，估值高达 4 亿美元。

OpenAI 与 Cerebras Systems 达成了一项价值约 100 亿美元的大规模合作伙伴关系，旨在利用其晶圆级引擎（Wafer-Scale Engine）技术，大幅降低 o1 和 o3 等复杂推理模型的延迟。

本指南深入探讨 vLLM 的核心架构、PagedAttention 算法、生产环境部署策略以及如何通过参数调优实现 20倍以上的推理吞吐量提升。

深入评测 NVIDIA Cosmos Reason 2，探讨它如何为机器人和物理 AI 系统带来先进的推理能力，以及开发者如何通过 n1n.ai 高效利用这一模型。