LLM 训练

最近的报告显示，ChatGPT 的回答中开始出现来自 Elon Musk 旗下 xAI 开发的 Grokipedia 内容。这一现象引发了关于合成数据循环、模型塌缩以及 LLM 数据溯源未来的深度讨论。

法律专家警告，OpenAI 据报要求承包商上传过往工作中的真实样本以训练模型，这一做法正使其面临巨大的知识产权和商业秘密泄露风险。

本文详细介绍了如何利用 Claude 3.5 Sonnet 作为“老师”模型，通过合成数据生成技术对 Llama 3 等开源大模型进行微调。涵盖代码实现、数据策略及 n1n.ai 平台的应用。