大模型和智能体安全风险治理与防护

大模型和智能体安全风险治理与防护分享人：李滨2025年7月8日AI技术带来新的生产驱动力，企业数字化进入“大模型时代”专家系统1968知识表征1974XCON 1980支持向量1995语义网络线路图1998AlexNet 2012ResNet 2015联邦学习2016Transformer 2017GPT-O3NLP神经网络2013算力瓶颈1990计算机视觉1976深度学习2006条件随机场2001GPT-4图神经网络2005BERT2018BP算法1986CgatGPTAI进入“大模型”时代感知机 1957GeminiAlphaGoAI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。深蓝击败卡斯帕罗1995达特茅斯会议1956Deepseek-R1QWEN-3混元大模型在企业应用场景中的十大常见安全风险样本投毒（数据污染）恶意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用误用0102030405自建模型平台暴露面过大模型数据和隐私泄露模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪）0607080910人工智能与大模型的风险组成结构•敏感信息泄露风险：越狱攻击输出受控内容；•应用开发安全风险：编码规范、风险开源组件；•应用服务风险：api攻击，web服务攻击、ddos攻击；•业务安全风险：批量注册、恶意引导、内容爬取；大模型应用的安全风险结构大模型应用安全•开发框架风险：框架漏洞(包含组件漏洞)；•开放数据集及训练工具风险；•污染的开放数据集风险；大模型运行环境安全•数据泄露的风险(私有数据集、模型文件、个人隐私)；•供应链安全风险：木马后门、组件漏洞；•越狱风险；•prompt 指令数据泄漏；大模型本体内生安全•基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；•基础设施的运维安全性：误操作、违规操作；大模型基础设施安全训练推理部署大模型安全端到端过程的风险分析大模型越狱攻击方法和威胁模型MCP协议和应用生态风险：从传统漏洞到AI控制系统性的安全疏忽Ø身份认证机制缺失Ø权限控制不足Ø缺乏审计追溯能力Ø默认配置不安全M