尊龙凯时宣布大模子清静威胁框架（附下载链接）
宣布时间 2025-06-27“让每一句人机对话都清静可信 ，让每一次智能交互都危害可控——这是属于AI时代的清静允许。
—— 尊龙凯时”
前言：
大语言模子（LLMs）手艺取得突破性希望 ，成为数字经济要害基础设施 ，同时也引发全新清静挑战。本文基于清静焦点手艺、实战攻防及清静智库等视角 ，系统剖析大模子清静威胁框架（V1.0） ，旨在识别危害、制订防御战略 ，包管手艺可信、清静、可控生长。
近年来 ，以ChatGPT、GPT-4、Claude、DeepSeek等为代表的大语言模子(Large Language Models, LLMs)手艺取得突破性希望 ，在全球规模内掀起AI生长热潮。大模子依附其强盛的学习、泛化和天生能力 ，推动各行各业的深刻厘革。
在中国 ，大模子手艺亦被视为国家战略性新兴工业的主要组成部分 ，众多科技巨头、创业公司、科研机构纷纷推出多元化应用场景的大模子产品与服务。大模子正逐步成为数字经济时代不可或缺的“新一代人工智能基础设施” ，其影响力已渗透到社会经济的方方面面 ，预示着一个智能驱动的新时代的到来。
新兴手艺的生长和普遍应用 ，往往陪同着新的清静挑战。只管大模子展现出重大的应用潜力 ，但由于其特有的手艺特征与交互模式 ，也带来了古板信息清静之外的全新挑战。大模子具有重大决议黑箱、数据深度依赖、内容界线模糊、能力动态演化等独吞特征 ，使得大模子应用场景下的清静威胁泛起出新的维度与重大性 ，对国家清静、社会稳固和企业生长组成严肃挑战。
因此 ，构建一个周全、系统且具有前瞻性的大模子清静威胁框架 ，关于我们识别潜在危害、评估现有误差、制订有用的防御战略具有极其主要的意义。它将资助企业和机构在享受大模子盈利的同时 ，能够有针对性地安排清静步伐 ，从而推动认真任的AI生长 ，确保大模子手艺的可信、清静、可控。
鉴于上述配景 ，文章将系统梳理并剖析当下主流的大模子清静危害与威胁框架 ，并围绕大模子应用场景下的清静危害举行剖析 ，从数据、模子自身、模子应用、合规伦理等环节剖析大模子可能保存的威胁。
一、大模子清静威胁框架
与古板网络清静威胁相比 ，大模子应用场景下的威胁不但继续了古板清静危害 ，更衍生出一系列与大模子自身特征和应用场景细密相关的新型威胁。为系统性地明确和应对这些威胁和挑战 ，我们必需全方位审阅大模子系统的各个要害组成部分所面临的潜在威胁。
如下图所示 ，本章节将从大模子基础设施、数据清静与隐私、模子自身清静及大模子应用清静等多维度出发 ，睁开相关清静威胁起源探讨与剖析。
大模子清静威胁框架图
大模子基础设施清静威胁剖析
大模子的训练、推理和运行依赖于重大的盘算、存储和网络基础设施 ，这些底层组件的清静是整个大模子系统稳健运行的基石。
1、基础设施硬件清静威胁
大模子运行所依赖的硬件资源（如CPU、GPU、内存、网络装备等）一旦泛起清静问题 ，将直接攻击大模子应用的稳固运行与数据清静。
? CPU清静威胁：从硬件焦点来看 ，CPU主要面临微架构攻击威胁、固件与后门威胁、硬件退化及威胁等。不但可能通过使用微架构误差（如分支展望缺陷）可实现权限绕过、窃取缓存数据 ；还可因固件误差或预置的硬件后门实现对硬件的未授权控制 ，破损大模子的稳固性和完整性 ；甚至通过恶意负载加剧硬件退化 ，导致硬件性能严重下降或损坏。
? GPU清静威胁：在GPU层面 ，尤其是在多租户共享的云情形中 ，攻击者可使用GPU缓存、功耗等物理特征实现共享资源的侧信道攻击 ，或使用GPU内存泄露误差、虚拟化误差 ，窃取模子参数与数据或其他租户的数据 ，破损大模子应用运行的公正性和清静性 ；同时 ，驱动程序误差也为权限提升和远程代码执行提供了可乘之机 ，直接威胁模子的运算焦点。
? 内存清静威胁：Rowhammer攻击或恶意代码注入能修改内存中敏感数据 ，直接破损数据一致性 ，进而影响大模子应用的可靠性 ；而内存走漏、缓冲区溢出攻击及缓存侧信道攻击则为窃取模子权重或训练数据翻开了通道。
? 网络装备清静威胁：作为支持大模子基础运行情形的主要组成部分 ，网络装备面临固件误差威胁、中心人攻击威胁、带宽拒绝服务攻击威胁。其固件误差可导致装备被控 ，中心人攻击能阻挡并改动传输中的要害数据 ，而带宽拒绝服务攻击则能容易瘫痪漫衍式训练和推理所依赖的数据通讯。
2、系统清静威胁
大模子应用的运行依赖于操作系统、应用程序及底层框架。而攻击者一旦针对这些要害组件提倡攻击 ，将对大模子应用清静组成严重威胁。
? 操作系统威胁：大模子基础设施操作系统层面的威胁与古板操作系统面临的清静威胁基本一致 ，主要包括内核权限提升、系统组件误差威胁、恶意软件威胁等。
? 大模子基础框架威胁：大模子的运行依赖TensorFlow、PyTorch、Numpy等基础深度学习框架 ，其学习框架中保存的设计缺陷和误差 ，可能实现破损大模子训练历程、窃取或改动模子参数与训练数据甚至控制大模子应用的运行。
3、供应链清静威胁
攻击者可对大模子供应链提倡隐藏性攻击 ，通过污染其依赖的第三方组件（如库、API、云服务或知识库） ，使用第三方组件误差或植入恶意代码（如伪装成正常更新的依赖包） ，导致模子运行异常、数据泄露或系统瓦解 ，威胁模子稳固性。主要面临如下威胁。
? 新型的袒露面和攻击面。大模子系统及其支持组件在网络上开放了不须要的服务端口、治理接口或API 端点 ，或者这些袒露面缺乏足够的身份认证、授权和清静加固步伐 ，从而形成了薄弱的攻击面 ，容易被攻击 者扫描发明并使用来举行未授权会见、数据窃取、拒绝服务攻击或进一步渗透。好比 ，开源跨平台大模子工具 Ollama 保存未授权会见误差 ，攻击者可绕过身份认 证直接会见服务接口 ，会见获取营业数据、模子参数和设置文件等敏感数据。
? 开源模子文件面临后门投毒威胁�？茨Ｗ油ǔＪ褂媚Ｗ游募问缴暮头址� ，将带来大模子外地化安排或装置文件被仿冒并用于实验网络攻击的危害。攻击者通过“高频要害词搜索引擎投毒”、“仿冒网站”等方法 ， 诱导用户下载伪造的大模子外地安排工具包 ，撒播含有木马病毒等恶意程序。用户情形一旦被植入木马 ，攻击者即可进一步控制用户服务器 ，窃取敏感信息、破损系统数据 ，甚至入侵内部网络。同时 ，用户被诱导装置仿冒的大模子应用APP造成敏感信息泄露。攻击者从非官方渠道宣布仿冒 DeepSeek 等APP装置包的手机木马病毒 ，诱导用户装置 APP、获得高权限并阻止用户卸载 ，窃取用户在手机上存储或传输的敏感数据及小我私家信息 ，从而损害用户小我私家隐私和经济利益。
? 大模子运行情形和基础设施误差使用的威胁。大模子多运行在云情形上 ，那么云情形自身的误差等清静问题将会影响到大模子的清静运行。例如 虚拟机/容器逃逸、虚拟机漂移、不清静挂载、镜像清静、云服务配 置治理清静等。除此之外 ，大模子底层基础设施的误差使用也带来重大威胁。好比 ，在大模子开发历程中使用 CI(一连集成)/CD(一连交付安排)基础设施的误差在模子推送到生产情形的历程中实验攻击;在大模子安排历程中使用容器和集群系统误差执行恶意代码、窃取数据、滋扰服务运行等 ，造成隐私信 息泄露;在RAG 应用开发历程中使用向量数据库的误差获取未授权的数据、改动数据、执行恶意代码或提倡其他攻击 ，以获取敏感信息、远程操控恶意代码等。
? 开源组件清静设置问题带来的清静威胁�？醋榧�(如训练框架、模子服务接口)的默认设置常以易用性优先 ，忽略清静加固(如未启用身份验证、开放无认证的API 端口等)。攻击者可使用默认设置的误差直接入侵模子服务 ，窃取数据、注入恶意负载或操控模子行为 ，导致数据 泄露、模子窃取、服务中止等问题。如 Ollama使用了 0.0.0.0 的默认 IP 设置、默认开放11434 端口且无任何鉴权机制 ，攻击者可通过公网并使用该懦弱点会见模子的训练数据、参数和设置文件 ，从而窃取敏感信息或改动模子行为。
? 供应链挟制带来的叠加威胁。攻击者通过改动软件、硬件或服务的供应链 环节(开发工具、第三方库、更新包、外包组件、硬件、源码等) ， 将恶意代码或后门植入正当产品中 ，从而在用户使用这些产品时实 施攻击。该方法使用了供应链中的上下游信托关系 ，使得恶意代码能够在未被察觉的情形下进入大模子的开发、训练或安排阶段 ，以“叠加威胁”的方法对大模子的清静性造成大规模的严重威胁。
大模子数据隐私与� ；ね�
大模子的训练、微调及推理历程对数据高度依赖 ，其清静性贯串于全生命周期 ，笼罩整个大模子应用场景的各个层级。从静态存储到动态交互 ，从模子构建的基石到用户输入的隐私 ，任何一环的数据清静失守 ，都将影响模子的可靠性和用户信托 ，甚至引发严重的执法与合规� ；�。
1、训练数据清静威胁
在训练数据层面 ，威胁源自其收罗、洗濯和标注的全历程。“数据投毒”攻击 ，即在训练数据集中注入恶意的、有私见的或过失的信息 ，能够从源头上诱使模子学习过失模式 ，导致其爆发过失的推理、固化的私见或危险的输出。未经充分脱敏的训练数据可能包括大宗小我私家身份信息或受版权� ；さ哪谌� ，可能被数据提取或逆向还原出来 ，导致数据隐私泄露。
而若是大模子训练数据洗濯历程不敷完善 ，并未完全过滤出包括色情、暴力、恼恨、敏感政治话题、隐私信息等违规内容 ，训练后的大模子则可能在运行历程中泛起相关违规内容。
2、用户数据清静威胁
大模子应用落地的历程中 ，会爆发大宗用户数据 ，用户在交互历程中输入的提醒词、小我私家文件和敏感信息等数据。敏感信息可能因隐私� ；と狈蚣用艽娲⒈徊嘈诺拦セ鳌⒎聪蛲评淼仁侄纹平� ；攻击者可能突破权限限制不法会见或改动数据 ；
别的 ，用户数据保存未经授权网络、滥用（如商业推断或广告定位）的危害 ，甚至被恶意挖掘用于进一步攻击 ，这些行为不但破损用户信托 ，还可能违反相关执律例则（如GDPR等）。
3、数据存储清静威胁
在数据存储环节 ，无论是训练数据集、模子权重文件照旧用户日志 ，若存储系统（如云存储、数据库）保存会见控制不当、加密步伐缺失或设置过失 ，都可能导致数据被未授权会见、批量下载或恶意改动 ，内部职员的恶意行为同样是不可忽视的重大危害。
4、数据传输清静威胁
在数据交互的动态历程中 ，模子与用户之间、以及漫衍式集群节点之间的数据传输 ，若缺乏端到端的强加密链路� ；� ，极易遭受“中心人攻击” ，导致通讯内容被窃听、改动或挟制。
大模子自身清静威胁剖析
大语言模子作为AI系统的焦点架构基础 ，无论是通用型亦或是笔直领域专用模子 ，均已成为企业焦点战略资产。
1、合规与伦理威胁
? 内容合规威胁：大模子在内容天生或信息处置惩罚历程中 ，可能无意或被恶意诱导地天生违反国家执律例则、社会公序良俗、行业规范或特定文化价值观的内容。这包括但不限于：涉及色情、暴力、恐怖主义、虚伪信息、离间、侵占知识产权、煽惑破碎、种族歧视、张扬邪教、侮辱英烈等种种不法或有害内容。
? 执律例则羁系合规威胁：在数据处置惩罚与使用、知识产权等方面 ，大模子可能面临国家和地区层面执律例则和羁系层的合规挑战。
2、提醒词注入攻击
攻击者通过结构巧妙的语言指令 ，能够诱骗模子、绕过预设的清静防护 ，诱使其执行非预期的恶意操作。一旦攻击乐成 ，模子可能会泄露隐私数据、撒播虚伪信息或者执行不法操作 ，严重威胁数据清静、信息真实性以及系统的正当合规运行。只管现有防御机制已经接纳了输入过滤与对齐微调 ，但由于对抗性攻击的形式多样 ，系统在鲁棒性方面仍然保存显着短板 ，难以有用抵御此类威胁。
3、模子窃取/提取攻击
攻击者通过未授权的不法手段获取模子权重参数 ，或通过系统性盘问目的模子并剖析其输出来构建高相似度的替换模子。当大模子应用系统袒露了模子的输入输出接口或内部结构细节等信息时 ，攻击者即可使用这些信息构建定向化盘问战略 ，通过大规模输入向量注入与输出纪录 ，最终训练出具备功效等效性的克隆模子 ，威胁企业焦点模子资产清静。
大模子应用和智能体清静威胁剖析
AI应用系统作为承载和展现AI 能力的软件实体 ，除了面临AI模子特有的?险外 ，其自身作为一个应用程序 ，同样继续了古板软件开发中保存的种种清静误差。此类?险涵盖了常?的 Web 应用误差(如注入、XSS)、因不清静地处置惩罚AI模子输出而引入的新型误差(如 AI 天生内容直接执行导致的清静问题) ，以及攻击者使用AI应用的营业逻辑缺陷举行诓骗或资源滥用。忽视AI应用自身的代码和逻辑清静 ，将使得AI系统的整体清静性大打折扣 ，纵然其焦点AI 模子自己是清静的。
大模子应用和智能体也是一类应用系统 ，所面临的清静威胁是多方面的 ，既有通例应用的通用清静问题 ，也有人工智能应用和智能体的特有清静问题。大模子应用平台的前端和后端清静性直接关系到大模子应用清静 ，平台组件清静问题对大模子的现实应用场景组成多重威胁。智能体自身可能面临代码误差、设置过失等威胁 ，易被攻击者使用 ，导致行为异� ；蚴菪孤� ，智能体组件间通讯可能被改动、伪造 ，破损协同事情 ，如数据传输被截获改动 ，影响决议准确性 ，多智能体协同时 ，个体智能体被恶意控制或行为异常 ，会滋扰整体使命执行 ，甚至引发连锁反应 ，使整个系统陷入杂乱。
1、大模子Web应用清静
大模子应用作为一种人工智能应用系统 ，同样面临着古板Web 应用所面临的种种已知清静误差 ，如API接口滥用、跨站剧本（XSS）、SQL 注入、跨站请求伪造（CSRF）、 失效的会见控制、清静设置过失、使用含有已知误差的组件、不清静的API 接口和拒绝服务攻击 ，这些误差可能被攻击者使用来窃取数据、破损系统或获取未授权会见。
2、API清静威胁
大模子应用在挪用外部 API(包括模子推理API、数据服务API、第三方工具API等)时 ，由于API接口自己的设计缺陷、认证授权机制薄弱、输入参数校验缺乏、返回数据处置惩罚不当或API 网关设置过失等缘故原由 ，导致应用受到攻击 ，如数据泄露、权限提升、拒绝服务或被用于进一步攻击其他系统。
主要威胁来自于API接口的未授权使用和API接口服务滥用。
? API 滥用带来大模子算力消耗危害。攻击者编写剧本或者通过僵尸网络(Botnet)使用未限制的API 接口执行高负载使命(如长文本天生、恶意爬虫高频挪用等) ，以每秒数百次的频率向模子API接口发送简朴但高消耗的请求 ，模子被迫重复天生无意义长文本 ，占用大宗 GPU 显存和盘算资源 ，导致算力资源耗尽而拒绝服务 ，好比 ，某大模子曾遭遇每秒2.3亿次恶意请求 ，导致服务中止。
3、大模子应用组件交互威胁
大模子应用的正常运行需要实现各部件之间的数据传输和通讯 ，包括会见数据库、外部工具、盘算资源等。若数据传输或通讯历程中缺乏加密 ，攻击者可通过中心人攻击（MITM）截获、改动API请求与响应 ，导致敏感信息被窃取或改动。攻击者还可通过频仍挪用API或系统资源导致要害API不可用或系统资源耗尽 ，实现拒绝服务攻击 ，使大模子应用系统陷入瘫痪状态。
4、大模子身份与会见控制清静威胁
健全的身份验证和权限治理是包管大模子应用及其所会见资源清静的焦点机制。凭证尊龙凯时宣布的《AI停当的大模子身份与会见治理白皮书（AI-R-IAM）》发明 ，大模子普遍应用引入了AI身份（AI Identity）和非人类身份（Non-Human Identity, NHI）。
同时 ，大模子的应用场景重大多样 ，保存用户会见公域、私域大模子 ，大模子挪用RAG知识库等 ，除了保存大模子应用自身身份和权限治理缺陷之外 ，相关于与古板的身份与会见治理IAM系统而言 ，由于在资产属性、内容、节点、细粒度以及集成对接方面的重大性 ，同时保存着身份冒用、授权界线不清或授权过高等危害。
? 大模子应用自身特有的身份和权限治理缺陷威胁。在大模子应用中 ，涉及到模子训练、数据标注、内容审核、应用系统治理员等自身特有的多种用户角色 ，其权限模子设计不对理、权限划分不清、保存权限冲突或未能遵照最小授权原则将会导致某些?色拥有凌驾其事情职责所需的过多权限 ，或差别?色之间的权限界线模糊 ，从而可能被内部职员误用、滥用或被外部攻击者使用举行权限提升。
? 大模子应用会见外部资源的身份认证与权限治理威胁。大模子应用在程序逻辑中需要会识趣构的RAG数据库、挪用第三方API、毗连云服务或其他外部系统时 ，所使用的API 密钥、数据库毗连字符串中的用户名密码、服务账户令牌等身份凭证治理不当 ，好比 ，硬编码在代码中以弱加密方法存储、通过不清静的渠道传输 ，或者这些凭证被授予了凌驾大模子应用完成其功效所必需的过高权限 ，导致一旦凭证泄露或大模子应用自己被攻破 ，攻击者即可使用这些权限举行横向移动、窃取大宗数据或破损外部系统。
? 多租户大模子应用场景下的身份与权限隔离不当的威胁。在多租户架构的 大模子应用中(即多个自力的客户或用户群体共享统一套大模子基础设施和应用实例) ，由于身份验证、授权机制或数据会见控制逻辑保存缺陷或设置不当 ，导致一个租户的用户或该租户的大模子应用实例可能通过身份冒用、权限提升或逻辑误差等方法 ，不法会见其他租户的数据、模子设置或盘算资源 ，从而破损多租户间的清静隔离性。
? 与机构现有身份和会见治理IAM系统对接失当的威胁。大模子应用（尤其是私有化安排模式）与机构现有的身份与会见治理(IAM)系统举行集成时 ，由于集成设置过失、协议实现缺陷、信托关系治理不当或企业 IAM 系统自己的清静战略变换未能实时与大模子应用的身份权限治理 ，可能导致身份认证绕过、会话挟制、权限继续不当或权限提升等清静?险。
5、智能体清静威胁
智能体作为一种典范的大模子应用形态 ，在自身、组件之间以及多智能体等方面面临多种清静威胁 ，较量通用共性的清静威胁主要是如下几种。
? 提醒词诱导攻击威胁。攻击者通过全心设计的提醒词（Prompt） ，诱导智能体挪用恶意工具或执行恶意行为 ，从而抵达攻击目的。攻击者可通过直接输入或间接输入（好比从网页、文档、数据库等外部数据源）特定提醒词改变智能体行为 ，实现预期的清静步伐绕过、敏感信息提取、恶意下令执行。该攻击使用了智能体自身的功效来实现恶意意图 ，具有极高的隐藏性。
? 拒绝服务攻击威胁。攻击者通过诱使智能体陷入盘算量极大的循环或历程 ，大宗消耗盘算资源 ，最终致使服务无法正常运行 ，严重破损智能体生态的稳固性与可用性。
? 通讯挟制（中心人攻击）。智能体的正常运行需要实现各部件之间的数据传输和通讯 ，包括会见数据库、外部工具、盘算资源等。若数据传输或通讯历程中缺乏加密 ，攻击者可通过中心人攻击（MITM）截获、改动API请求与响应 ，导致敏感信息被窃取或改动 ，智能体行为被恶意使用 ，影响智能体正常运行及数据清静。
? 工具挪用威胁。智能体（LLM Agent）通过挪用种种外部工具实现功效的拓展 ，如使用MCP、会见数据库、执行剧本、举行API挪用、RAG和互联网搜索等 ，这一历程也带来诸多清静威胁。
? 多智能体调理面临横向与纵向双重威胁。横向层面 ，因缺乏中心化控制及可靠的信托转达机制 ，攻击者可伪造身份或使用信托关系 ，滋扰使命协作链（好比窃取数据、破损资源调理秩序）。纵向层面 ，依赖关系引发级联攻击危害：焦点智能体被攻陷后 ，恶意调理指令通过层级结构迅速扩散 ，导致攻击呈指数级伸张（好比操控决议引发系统级瓦解）。这两类威胁的共性在于使用了横向袒露信托机制懦弱性的系统拓扑缺陷 ，纵向放大了单点故障危害。
? 身份验证与授权绕过威胁。攻击者使用弱身份认证、令牌泄露或权限治理误差 ，通过暴力破解或凭证伪造手段冒充正当身份 ，将导致横向越权会见（突破系统间身份隔离）和纵向权限提升（逾越功效操作界线） ，进而窃取敏感数据、操控智能体执行恶意运动（如改动使命链、提倡寄生攻击） ，最终侵蚀整个系统的会见控制系统并引发一连性清静危害。焦点问题在于认证机制缺陷与权限界线失效 ，为攻击链形成提供了完整路径。
二、大模子清静防御系统
由于大模子自身机制缘故原由 ，导致数据、模子和应用等多层面的清静问题 ，仅仅通过简单手段难以有用控制危害 ，因此 ，需要针对大模子应用场景下的多样化威胁 ，以确保大模子手艺在清静可控的条件下一连立异与生长。
需要从手艺、治理、规则和生态多个层面构建综合防御系统。在手艺层面 ，防御战略应笼罩大模子运行的各个要害环节。关于基础设施清静 ，焦点在于强化盘算、存储和网络资源的物理与情形防护。增强数据清静与隐私� ；� ，强化提醒词工程 ，增强API清静与实验身份认证与授权防护 ，团结古板网络清静防护手艺在大模子应用场景下举行� ；�。大模子厂商应重点提升模子的鲁棒性以抵御对抗性攻击。
除了手艺包管 ，应建设周全且动态的危害评估与治理系统 ，按期举行危害评估和审计 ，明确各方在开发、安排和运营中的清静职责。从更宏观的规则层面看 ，政府应一连推动大模子相关执律例则的制订与完善 ，强化行业标准建设 ，制订大模子清静手艺标准、评估规范和伦理准则 ，为行业生长提供清晰的规范指引。
别的 ，应起劲构建开放、协作的清静生态 ，勉励清静厂商、研究机构、高校以及开发者社区等各方细密相助 ，配合研发大模子清静手艺和工具 ，推动知识共享与能力互补。建设健全信息共享机制 ，实时共享大模子清静威胁、误差和最佳实践。
本文对大模子应用场景下的威胁框架举行了起源的探索与剖析。随着大模子手艺的迅速生长和应用 ，其清静问题正在演变为一个重大系统。在未来的智能天下中 ，我们需要以审慎态度和前瞻视野 ，逐步深入构建一个周全化、结构化、系统化的威胁框架 ，这不但是明确和应对这些重大威胁的基础 ，更是包管大模子康健可一连生长的要害一步。
参考资料：
1、《AI停当的大模子身份与会见治理白皮书（AI-R-IAM）》.尊龙凯时 2025年2月
2、《AI清静危害评估和控制指南》Demon AI Security Handbook 2025年5月
3、《DeepSeek等开源大模子应用 清静防护要求与实验指南》.中国移动 2025年4月
4、OWASP Top 10: LLM & Generative AI Security Risks
下载链接：/u/cms/www/202506/27165532tsiy.pdf
京公网安备11010802024551号