Anthropic 关于 AI 智能体探索物理世界的安全框架

+-----------------------------------------------------------------+
|                           认知引擎                              |
|                 (基于 n1n.ai 的 Claude 3.5 Sonnet)              |
+-----------------------------------------------------------------+
                                |  (生成 JSON 工具调用)
                                v
+-----------------------------------------------------------------+
|                         策略与验证层                            |
|                  (根据安全规则检查命令)                         |
+-----------------------------------------------------------------+
                                |  (仅限批准的命令)
                                v
+-----------------------------------------------------------------+
|                         物理翻译层                              |
|             (将 JSON 转换为 ROS / SCADA 指令)                  |
+-----------------------------------------------------------------+
                                |  (硬件控制信号)
                                v
+-----------------------------------------------------------------+
|                         物理执行器                              |
|             (机械臂、液体处理机、数控机床等)                    |
+-----------------------------------------------------------------+

import os
import json
import requests

# 定义安全策略参数
SAFE_TEMPERATURE_MAX = 80.0  # 摄氏度
SAFE_PRESSURE_MAX = 150.0     # 千帕 (kPa)

class PhysicalActuatorController:
    def __init__(self):
        self.current_temp = 25.0
        self.current_pressure = 101.3

    def adjust_valves(self, valve_id: int, flow_rate: float):
        print(f"[执行器] 调整阀门 {valve_id} 至流速: {flow_rate} 升/分钟")
        # 模拟硬件响应
        return {"status": "success", "valve": valve_id, "flow_rate": flow_rate}

    def set_heating_element(self, power_level: float):
        print(f"[执行器] 设置加热元件功率为: {power_level}%")
        return {"status": "success", "power_level": power_level}

class SafetyValidator:
    @staticmethod
    def validate_action(action_name: str, parameters: dict) -> bool:
        """
        严格的验证引擎，防止越界的物理操作。
        """
        if action_name == "set_heating_element":
            power = parameters.get("power_level", 0.0)
            # 防止过热风险
            if power > 100.0 or power < 0.0:
                print("[安全警报] 功率水平超出物理边界！")
                return False
            if power > 75.0:
                print("[安全警报] 高功率设置需要人工确认。")
                return False
        
        if action_name == "adjust_valves":
            flow = parameters.get("flow_rate", 0.0)
            if flow > 50.0 or flow < 0.0:
                print("[安全警报] 流速超过安全压力容量！")
                return False
                
        return True

# 模拟智能体执行循环
def run_agent_step(prompt: str, controller: PhysicalActuatorController):
    # 在生产环境中，您将通过像 n1n.ai 这样的统一 API 提供商调用模型
    # API 端点: https://api.n1n.ai/v1/chat/completions
    
    print(f"\n[智能体] 目标: {prompt}")
    
    # 模拟从 LLM 选择的工具
    # 假设 LLM 处理了请求并生成了以下工具调用：
    simulated_tool_call = {
        "name": "set_heating_element",
        "arguments": {"power_level": 85.0}  # 这超出了需要验证的 75.0 安全阈值
    }
    
    action_name = simulated_tool_call["name"]
    params = simulated_tool_call["arguments"]
    
    # 在硬件上执行前运行验证检查
    is_safe = SafetyValidator.validate_action(action_name, params)
    
    if is_safe:
        if action_name == "set_heating_element":
            controller.set_heating_element(params["power_level"])
        elif action_name == "adjust_valves":
            controller.adjust_valves(params["valve_id"], params["flow_rate"])
    else:
        print("[系统] 操作被安全验证器阻止。启动安全停机状态。")
        # 回退到安全状态
        controller.set_heating_element(0.0)

if __name__ == "__main__":
    hardware = PhysicalActuatorController()
    run_agent_step("快速加热反应室以加速合成。", hardware)