量化技术

深入了解 NexusQuant 库，这是一种突破性的 LLM 优化技术，可在不进行重新训练的情况下将 KV 缓存压缩高达 33 倍，让 128K 超长上下文在消费级 GPU 上运行成为可能。

深入分析 Google Gemma 4 模型的最新本地推理突破，涵盖 llama.cpp 的显存优化修复、Ollama 在 RTX 3090 上的量化性能基准测试，以及在 Rockchip NPU 上的超低功耗部署实践。

深入探讨如何通过闪存卸载（Flash Offloading）和分组量化技术，在 iPhone 等移动设备上本地运行 DeepSeek-V3 或 Llama 3 等超大规模参数模型。

GGML 和 llama.cpp 正式加入 Hugging Face，这标志着本地 AI 生态进入了标准化的新阶段，将极大地加速开源模型在消费级硬件上的普及。本文深度解析这一变动对开发者和企业的深远影响。

本教程深入探讨如何在本地环境（包括仅 CPU 环境）中运行语音智能体的核心组件，涵盖 Whisper、Llama 3.1 和 Kokoro 的部署与优化。