Google ML Drift：面向边缘端的高性能 GPU AI 与 ML 推理引擎

在高度碎片化的移动设备生态中部署机器学习模型，一直是开发者面临的重大挑战。一款典型的移动应用程序或浏览器可能运行在完全不同的图形 API 之上，包括 OpenGL ES、OpenCL、Metal 以及 WebGPU。为了解决这些底层的硬件差异，谷歌的 AI Edge 团队正式开源了驱动 LiteRT 的核心 GPU 加速引擎：ML Drift。

对于寻求灵活且稳定模型路由方案的开发者来说，诸如 n1n.ai 这样的平台提供了强大的企业级大模型 API 聚合服务，但在边缘设备上直接处理本地推理则需要依赖像 ML Drift 这样专门的计算运行时。ML Drift 采用 Apache 2.0 开源协议，是一个专为端侧 AI 和机器学习推理构建的跨平台 GPU 计算引擎。

深入理解 ML Drift 架构设计

旧版的 TensorFlow Lite GPU 代理要求开发者为 OpenGL、OpenCL 和 Metal 分别维护独立的着色器代码库。此外，张量被硬编码绑定到具体的物理 GPU 缓冲区和纹理上。ML Drift 引入了**张量虚拟化（Tensor Virtualization）**机制彻底解决了这一痛点。该架构将张量的逻辑布局与其在 GPU 上的物理存储完全分离，从而允许单一的一套着色器模板跨不同的后端无缝运行，同时将运行时开销降到最低。

核心技术升级解析

1. 原生支持 5D 张量

以往的运行时限制开发者仅能使用 4D 张量。ML Drift 原生支持 5D 张量，这使其成为处理复杂 3D 卷积模型以及时空架构（如 YOLO 11n、MobileViT v2 和 Swin Transformer v2）的理想选择。

2. 针对端侧大模型的推理优化

大语言模型推理具有显著的不对称性：预填充（Prefill）阶段属于计算密集型，而解码（Decode）阶段则受限于内存带宽。ML Drift 会根据当前处于的执行阶段动态切换内核与内存布局。根据谷歌的 Gemma 基准测试数据，其内存消耗比其他框架最高减少了 12%。

3. 基于 WebGPU 的桌面端预览支持

尽管移动端依然是核心重心，但通过 Chromium 的 Dawn 引擎在原生层面编译的 WebGPU 后端，使得 ML Drift 能够在 Windows 和 Linux 系统上高效运行，同时在 macOS 上提供原生的 Metal 后端支持。

生产环境性能提升数据

谷歌公布的生产环境测试数据显示，在实际应用中使用 ML Drift 带来了显著的性能飞跃：

• YouTube Shorts： 在 Android 和 iOS 上的平均帧延迟最高降低了 40%。
• Adobe Lightroom 与 Photoshop： 某些端侧功能的运行速度提升高达 30%。
• Snapchat： 针对特定的镜头特效，模型延迟降低了 30%。

从旧版代理迁移至新引擎的策略

如果你的移动应用目前依赖传统的 TFLite GPU 代理，现有代码在今天不会中断运行。然而，旧版代理已经正式进入冻结状态，将不再接收任何新功能更新。谷歌建议开发者尽快迁移到 LiteRT ML Drift GPU 加速器，该加速器对现有模型具备完全的向后兼容性。

// 示例：使用 ML Drift GPU 代理初始化 LiteRT 运行时
#include "lite_rt/runtime.h"
#include "ml_drift/gpu_delegate.h"

// 创建 LiteRT 解释器选项
LiteRtInterpreterOptions* options = LiteRtInterpreterOptionsCreate();

// 应用 ML Drift GPU 加速器代理
LiteRtStatus status = LiteRtApplyGpuDelegate(options, ML_DRIFT_ACCELERATOR);

if (status == kLiteRtStatusOk) {
    // 继续加载并执行优化后的模型计算图
}

给 Android 开发者的提示： 尽管 ML Drift 已经可以直接在独立的 LiteRT 软件包中使用，但将其整合进 Google Play Services 中的 LiteRT 仍在逐步推进中。如果你为了控制应用安装包大小而使用非捆绑运行时，请务必仔细检查构建依赖项。

总结与后续行动

无论是管理边缘端的本地模型推理，还是通过 n1n.ai 统一接入云端大模型，选择高性能的运行时对于降低延迟至关重要。开发者现在就可以将 LiteRT ML Drift 加速器纳入路线图，体验张量虚拟化和端侧大模型加速带来的红利。系统级工程师也可以直接访问 GitHub 仓库 github.com/google-ai-edge/ml-drift 获取 standalone C++ API。

立即访问 n1n.ai 获取免费 API 密钥，开启您的下一代 AI 开发之旅！

Get a free API key at n1n.ai