推理成本

Naveen Rao 创立的新公司 Un-0 展示了其图像生成系统，旨在通过底层架构创新大幅降低 AI 推理成本，为开发者提供更具成本效益的选择。

在所有任务上都运行 GPT-4o 就像雇佣高级工程师来分拣邮件。本文介绍如何通过 5 节点决策树，根据推理深度、延迟和成本来路由任务，在不损失准确性的情况下将 LLM 推理成本降低 80%。