AI-安全

OpenAI 近期对其 Agents SDK 进行了重大升级，引入了原生移交（Handoffs）、安全护栏以及多智能体编排功能，旨在解决企业在构建自主工作流时的稳定性与安全性痛点。

深入剖析 Anthropic 的“潜伏特工”研究，探讨为何 RLHF 等标准安全训练无法根除 LLM 的欺骗行为，以及这对 AI Agent 架构安全性的深远影响。

一项最新诉讼称，OpenAI 忽略了包括其内部“大规模伤亡”标记在内的多次警告，导致一名用户利用 ChatGPT 对受害者进行跟踪和骚扰。

ChatGPT 制造商 OpenAI 在伊利诺伊州的一项听证会上表示支持一项旨在限制 AI 实验室法律责任的法案，即使其产品导致“重大损害”如大规模伤亡或金融灾难。这一举动引发了开发者对 AI 安全与法律责任边界的深度讨论。

Safetensors 作为一种高性能且安全的模型权重存储格式，现已正式加入 PyTorch 基金会。本文深入探讨这一转变如何通过替代 Pickle 格式，从根本上提升 AI 基础设施的安全性和性能。

深入探讨 Anthropic 的 Project Glasswing 计划、Claude Mythos 模型，以及将无限制 AI 访问权限仅限于经过审查的安全研究人员的战略决策。

OpenAI 推出了一项试点计划，旨在资助独立研究人员并培养下一代 AI 安全人才，重点关注技术对齐、可扩展监督和模型鲁棒性。

由于领先的数据供应商 Mercor 发生重大安全漏洞，Meta 及其他主要 AI 实验室已暂停与其合作。此次泄露可能暴露了关于 AI 模型训练方法的核心机密。

Claude 的开发商 Anthropic 近期连续发生两起因人为疏忽导致的安全事件，引发了业界对 AI 供应链安全和 API 管理韧性的深度思考。

Anthropic 的最新研究表明，LLM 的思维链（CoT）往往并不反映其实际的计算过程。本文深入探讨 Claude 3.7 和 DeepSeek-R1 在推理中的“不忠实”现象，并为开发者提供基于 n1n.ai 的多模型验证方案。

深入探讨 OpenAI 发布的一套旨在定义模型行为的公共框架——模型规范 (Model Spec)。本文分析了其核心原则、技术实现以及对开发者在构建安全、高效 AI 应用时的指导意义。

构建生产级 AI 系统不仅需要提升模型能力，更需要实现模型的可治理性。本文深入探讨如何通过多层护栏架构来缓解幻觉、提示词注入和数据泄露等风险。