KV 缓存

本文深入探讨了大语言模型推理中的核心优化技术 KV Cache，详细解析了 MQA、GQA 和 MLA 等注意力机制如何通过减少显存占用和计算冗余，显著提升模型推理速度与吞吐量。

深入了解 NexusQuant 库，这是一种突破性的 LLM 优化技术，可在不进行重新训练的情况下将 KV 缓存压缩高达 33 倍，让 128K 超长上下文在消费级 GPU 上运行成为可能。

深入探讨多查询注意力 (MQA) 如何通过在注意力头之间共享键和值，解决大语言模型中的 KV 缓存内存瓶颈问题。