模型蒸馏

Anthropic 近日公开指控 DeepSeek、MiniMax 及月之暗面（Moonshot AI）利用其 Claude 3.5 Sonnet 模型进行大规模数据抓取与非授权的知识蒸馏，涉及 1600 万次交互。

Google 报告了一起大规模模型提取攻击，攻击者利用超过 10 万次提示词试图将 Gemini 的能力蒸馏到克隆模型中，揭示了 LLM 生态系统中日益增长的安全风险。

深入探讨 Claude 3.5 Sonnet 如何改变底层 GPU 编程范式，并作为高保真“导师”模型，通过合成数据助力开源模型的知识蒸馏与性能提升。