大模型智能体的行为安全探索

大模型智能体的行为安全探索张倬胜上海交通大学YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型智能体：大模型的“知行合一”2缸中之脑q大模型在内容理解、推理和创作方向取得了显著的进展，但离物理世界存在着鸿沟q知行合一：从内容智能到行为智能，构建大模型智能体，建立迈向通用人工智能的关键纽带大模型智能体框架Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language AgentsYSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型智能体3q大模型智能体：基于大模型构造，是一种能够感知环境，自主规划、决策和使用工具的智能系统q具有通用性、自主性、自适应性、社交能力。根据环境变化，动态响应，并可在环境中进行自我完善文本图像语音视频大模型系统操控（系统、软件、设备）工具科学发现（药物合成、发现）群体协作（自主通信、演化）软件开发（规划、生成、修正）Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language AgentsYSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型智能体的代表性应用4系统操控（Auto-GUI）科学发现（ChemCrow）软件开发（GitAgent）群体协作（MedAgents)智能助理（Copilot）具身智能（VIMA）Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language AgentsYSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型智能体的行为安全风险5关键技术思维链检索器推理校验知识更新外部环境知识库工具API大模型 LLMGUI恶意注入RA