尊龙凯时MAF直面OWASP LLM Top10威胁全景
宣布时间 2025-02-21"让每一句人机对话都清静可信，让每一次智能交互都危害可控——这是属于AI时代的清静允许。 —— 尊龙凯时"
前言：
清静威胁图鉴
OWASP的《大规模语言模子应用 Top 10》项目始于2023年，旨在突出并解决与人工智能应用相关的清静问题。2025年更新的版本对现有危害有了更深条理明确，并纳入了LLM在现实应用中的最新主要希望。如下图：
一、训练数据层危害
1.训练数据投毒攻击 (Training Data Poisoning Exploitation)
对训练数据举行恶意滋扰或改动，导致模子学习过失的模式，影响模子的性能和准确性。
2.太过依赖 (Excessive Feature Dependency)
模子在某些特征上保存太过依赖，导致其对异常输入或攻击体现出懦弱性。
3.向量与嵌入弱点 (Embedding and Vector Representation Vulnerabilities)
模子的嵌入向量或数据表征保存弱点，攻击者可能使用这些弱点举行潜在的攻击。
4.虚伪信息 (Misinformation Dissemination)
模子天生的信息禁绝确或虚伪，导致误导用户或造成社会和清静问题。
5.不清静插件（Insecure Plugins）
集成的外部插件或�？楸４嫖蟛�，可能为攻击者提供未授权会见或执行恶意操作的路径。
二、输入层清静危害
1.提醒注入攻击（Prompt Injection）
攻击者通过结构对抗性提醒词突破系统预设指令，诱导模子改变其行为或输出。
2.模子越狱危害（Model Jailbreaking）
越狱是一种特殊的提醒注入，攻击者提供输入，导致模子完全无视其已有的清静协议。
3.太过署理危害 (Excessive Proxying Risks)
LLM 扩展在下游系统上拥有凌驾应用程序预期操作所需的权限，例如一个本应只读取数据的扩展使用的账户不但拥有 SELECT 权限，还拥有 UPDATE、INSERT 和 DELETE 权限，能够毗连到数据库服务器。
三、输出层清静危害
1.敏感信息泄露（Sensitive Information Disclosure）
模子在无意中天生输出，泄露敏感或神秘数据，导致隐私泄露和信息清静问题。
2.系统提醒泄露（System Prompt Leak）
攻击者通过逆向工程或其他手段获取模子的内部提醒信息，可能导致模子行为的不可控性。
3.不当输来由置（Insecure Output Handling）
LLM天生的输出被转达到其他组件和系统导致XSS、CSRF、SSRF、RCE等。
四、治理维度挑战
1.模子偷窃与滥用 (Model Theft and Unauthorized Replication)
通过逆向工程或其他手段窃取模子知识，造成知识产权损失或被恶意滥用。
2.拒绝服务攻击 (Denial of Service Attack)
通过高强度请求或恶意输入，导致模子服务无法正常响应或泛起系统瓦解。
3.供应链误差 (Supply Chain Integrity Vulnerabilities)
大型语言模子（LLM）的供应链容易受到多种误差的影响，这些误差可能会损害训练数据、模子和安排平台的完整性。这些危害可能导致输出误差、清静误差或系统故障。在古板软件误差中，我们通常关注代码缺陷和依赖关系，但在机械学习（ML）领域，危害还扩展到了第三方预训练模子和数据。
针对上述危害/威胁图谱，危害主要可归纳为两类：一类是LLM模子自身的固有危害，另一类模子与外部情形的交互则是大部分威胁的集中体现，会对用户的焦点营业运行造成严重影响，如下表所示：
大模子防护系统的手艺挑战及构建路径
面临LLM在外部交互环节的高危害性，用户亟需一套系统化的整体解决计划，以构建端到端的清静防护系统，确保营业的清静性和稳固性。
在尊龙凯时的综合清静系统中，MAF（Module Application Firewall）主要面向实时推理营业场景，通过在线安排&实时阻挡模式，构建多维度清静防护机制，对输入输出内容举行深度清静检测与防护。
一、 输入预处置惩罚
输入预处置惩罚是大模子防护系统中的主要环节，尊龙凯时MAF通过预处置惩罚提升模子的效率和准确性，有用避免恶意输入带来的清静危害。
尊龙凯时MAF未来自差别感知通道的数据举行统一处置惩罚与融合。
? 特征级融合：通过提取每种模态的要害特征，并将这些特征向量合并为一个高维向量，供后续处置惩罚。
? 决议级融合：差别模态的输出在决议层面举行融合。通过将各模态的展望效果举行加权合并，来提高模子的最终决议准确性。
二、 输入清静治理系统
? DDos缓解：基于令牌机制的BOT检测，通过递进式验证确认，有用缓解拒绝服务攻击。
? 外层高速匹配：基于SIMD加速手艺的显式内容匹配，通过过滤阻挡确定性敏感内容，放行确定性白流量。
? 中层语义剖析：对可疑的对话内容，通过语料训练以及参数微调获得基于Transformer的神经网络模子，用来明确人类语言，举行上下文关联，识别隐式危害和重大攻击模式。
? 深层精准研判：对高危害对话内容，基于专用检测大模子举行自然语言对抗式剖析，精准识别重大逻辑框架下的提醒词注入等恶意输入。
三、动态输出清静控制系统
尊龙凯时MAF阻止敏感信息泄露、误导性内容撒播以及系统提醒词走漏等问题，�；な菔涑龅那寰残�，提升模子与用户的交互质量，阻止潜在的恶意信息输出。
? 敏感信息过滤与脱敏：通过先进的自然语言处置惩罚（NLP）手艺和深度学习模子，尊龙凯时MAF实现对敏感信息的精准识别与高效脱敏，支持对身份证、手机号、提醒词工程、其他要害营业信息等内容的识别和替换。
? 系统提醒走漏防护：启明MAF内置富厚的系统语料库，并支持基于现实营业需求界说应防护的系统要害信息，以此构建大模子清静输出的坚实屏障。
? 不当输出阻挡：尊龙凯时MAF实现对话式防御机制。差别于古板手段的被动阻挡，对话式阻挡通过与大模子举行实时交互，自动指导对话走向，识别并阻断潜在的攻击意图。
大模子清静防护需突破古板网络清静头脑，建设顺应天生式AI特征的新型防御范式。尊龙凯时MAF大模子应用防火墙协助用户构建一连演进的大模子清静治理系统，从输入预处置惩罚、输入清静治理到动态输出清静控制的端到端大模子防护战略，包管种种大模子应用和智能体营业清静可靠的交付运行。
京公网安备11010802024551号