量化感知训练

Google 推出了支持量化感知训练 (QAT) 的 Gemma 4 模型系列，通过在训练中模拟低位宽舍入，实现了 1 GB 显存占用下的高性能边缘端 AI 部署。

深入探讨 Gemma 4 的量化感知训练 (QAT) 技术，测试如何在 GTX 1080 Ti 上运行 12B 模型，并利用 KV 缓存量化在 8GB 显存中实现 16k 上下文。