模型量化

深入解析 Flash-MoE 与苹果 'LLM in a Flash' 技术如何让 4000 亿参数模型在 iPhone 上运行，以及这一趋势对混合 AI 应用架构的深远影响。

本指南详细介绍了如何在 NVIDIA Jetson Orin 平台上部署和优化 PaliGemma、Moondream 等开源视觉语言模型，涵盖 TensorRT-LLM 加速、4-bit 量化以及边缘端推理实战。

本教程详细介绍了如何在本地环境部署大语言模型（LLM），涵盖硬件选型、Ollama 安装、模型量化技术以及如何通过 Python API 进行集成，助力开发者实现 100% 私有化 AI 工作流。