LLM 推理优化

深入探讨一种在同系列不同规模的大语言模型（LLM）之间迁移 KV 缓存的新方法。通过闭式线性映射器，该技术可实现高达 25 倍的推理加速，同时保持极高的准确率。

深入探讨投机采样（Speculative Decoding）技术：如何在不改变模型权重的情况下，通过大小模型协作将大语言模型推理速度提升 2-4 倍。