物联网

微软详解防御间接提示注入攻击的技术方案

字号+作者:创站实验室来源:IT资讯2025-11-26 21:24:17我要评论(0)

微软近日公布了一套纵深防御策略,旨在应对企业环境中大型语言模型LLM)面临的最严峻安全威胁——间接提示注入攻击。该公司的多层次防护方案结合了预防技术、检测工具和影响缓解策略,可有效防范攻击者在LLM处

微软近日公布了一套纵深防御策略,微软旨在应对企业环境中大型语言模型(LLM)面临的详解最严峻安全威胁——间接提示注入攻击 。该公司的防御多层次防护方案结合了预防技术、检测工具和影响缓解策略,间接可有效防范攻击者在LLM处理的提示外部数据源中嵌入恶意指令的行为。模板下载

核心要点:

微软采用先进工具与严格管控措施防范AI提示注入用户授权机制与强数据策略协同防止数据泄露持续研究确保微软保持AI安全领域领先地位

多层次预防与检测框架

微软的注入防御策略围绕三大核心保护机制展开 。该公司不仅实施了强化的攻击系统提示方案,还开发了名为"聚光"(Spotlighting)的术方创新技术 ,帮助LLM区分合法用户指令与潜在恶意的微软外部内容  。香港云服务器

"聚光"技术包含三种运行模式:定界模式(使用随机文本分隔符如<< { { 文本}} >>)、详解数据标记模式(在词语间插入ˆ等特殊字符)以及编码模式(采用base64或ROT13等算法转换不可信文本)。防御

在检测能力方面 ,间接微软部署了基于概率分类器的提示"提示防护盾"(Microsoft Prompt Shields)系统 ,可识别多语言外部内容中的注入提示注入攻击。该检测工具与Microsoft Defender for Cloud无缝集成 ,建站模板攻击作为AI工作负载威胁防护的一部分,使安全团队能够通过Defender XDR门户监控和关联AI相关安全事件 。该系统为企业提供了针对基础设施中LLM应用潜在攻击的全方位可视化能力。

微软的研究计划包括开发名为TaskTracker的新型检测技术,源码下载该技术通过分析推理过程中的LLM内部状态(激活值)而非检查文本输入输出来实现检测。公司还举办了首个公开自适应提示注入挑战赛LLMail-Inject  ,吸引了800多名参与者,并生成了超过37万条提示的数据集供后续研究使用。

影响缓解措施

为降低潜在安全影响,微软针对已知数据外泄方法(包括HTML图片注入和恶意链接生成)实施了确定性拦截机制 。源码库公司通过Microsoft 365 Copilot与敏感度标签 、Microsoft Purview数据丢失防护策略的集成  ,实现了细粒度数据治理控制 。此外 ,"人在回路"(HitL)模式要求对潜在风险操作获取用户明确授权 ,Outlook Copilot的"使用Copilot起草"功能便采用了该机制 。免费模板

这套综合方案从根本上解决了间接提示注入这一由现代LLM概率特性和语言灵活性引发的固有风险 ,使微软在AI安全创新领域保持领先地位。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 2023 年五月头号恶意软件:Check Point曝光基于云的恶意软件Guloader

    2023 年五月头号恶意软件:Check Point曝光基于云的恶意软件Guloader

    2025-11-26 21:18

  • windows10更新卡在91%不动

    windows10更新卡在91%不动

    2025-11-26 20:10

  • 华为台式电脑开机教程(详解华为台式电脑的开机步骤及操作技巧)

    华为台式电脑开机教程(详解华为台式电脑的开机步骤及操作技巧)

    2025-11-26 19:57

  • win10开机黑屏只有鼠标能动按键没反应

    win10开机黑屏只有鼠标能动按键没反应

    2025-11-26 18:43

网友点评