量化技术

深入探讨本地 AI 的最新进展：Ollama 改进的互操作性、具备原生多轮对话保存能力的 Qwen3.5 35B 模型的发布，以及通过 WebGPU 在浏览器中运行的突破性 1-bit 文本生成图像模型。

深入探讨 Unsloth 如何通过 4-bit 量化、FlashAttention-2 和定制化 CUDA 内核，充分释放 NVIDIA GPU 潜力，实现 2-4 倍的训练加速。

深入了解 KVQuant 如何通过 4-bit KV 缓存量化技术将 LLM 内存占用降低 4 倍。本文详细介绍了 LLaMA-70B 如何在消费级硬件上实现低损耗运行，并提供代码实现指南。

深入了解 NexusQuant 库，这是一种突破性的 LLM 优化技术，可在不进行重新训练的情况下将 KV 缓存压缩高达 33 倍，让 128K 超长上下文在消费级 GPU 上运行成为可能。

深入分析 Google Gemma 4 模型的最新本地推理突破，涵盖 llama.cpp 的显存优化修复、Ollama 在 RTX 3090 上的量化性能基准测试，以及在 Rockchip NPU 上的超低功耗部署实践。

深入探讨如何通过闪存卸载（Flash Offloading）和分组量化技术，在 iPhone 等移动设备上本地运行 DeepSeek-V3 或 Llama 3 等超大规模参数模型。

GGML 和 llama.cpp 正式加入 Hugging Face，这标志着本地 AI 生态进入了标准化的新阶段，将极大地加速开源模型在消费级硬件上的普及。本文深度解析这一变动对开发者和企业的深远影响。

本教程深入探讨如何在本地环境（包括仅 CPU 环境）中运行语音智能体的核心组件，涵盖 Whisper、Llama 3.1 和 Kokoro 的部署与优化。