大模型安全
本分类围绕大语言模型自身的安全问题展开。前半部分从提示词工程的基础讲起,逐步进入提示词注入的分类、原理与各类绕过手法,再逐项拆解 OWASP LLM Top 10 中的每一类风险及其缓解措施;后半部分覆盖模型供应链、训练数据投毒、向量检索等偏工程侧的议题。
所有内容都按同一个原则组织:先讲清风险为什么会发生,再给可以落地的防御动作,而不是停留在名词解释。
本分类目前收录以下文章,按建议阅读顺序排列。
-
Prompt提示词技巧汇总
本篇内容介绍基本的Prompt提示词技巧,参考主要来源是吴恩达的提示词教程,以此作为提示词注入的前篇,本篇内容暂不涉及提示词注入相关内容,关于注入,请参考后续文章。
-
Prompt注入之类别汇总
本篇主要记录Prompt注入时都有哪些分类,关于Prompt注入的相关技巧,将在下篇《Prompt注入之技巧汇总》中记录。本次分类整体思维导图如下:
-
Prompt注入之认知控制
本篇为Prompt提示词注入第一篇,预计共5篇,本篇所记录的技巧共68个,主要围绕的是认知控制。
-
Prompt注入之边界操纵
本篇为Prompt提示词注入第二篇,预计共5篇,本篇所记录的技巧共5个,这个类别的技巧比较少,主要围绕的是边界操纵。
-
Prompt注入之指令重构
指令重构相关技巧主要就是为了去规避一些检测机制,它下面也有很多方法,比如修改攻击者指令的表现形式,或者指令的结构,所以这个技巧不会改变语义,不会去针对大模型的推理过程,常用来绕…
-
Prompt注入之整合指令
本篇主要围绕Prompt注入中的整合指令技巧,所谓整合指令,就是攻击者发给大模型的恶意指令在多个地方,需要整合后发送,比如当前指令的内容要借助模型的历史回答,或者当前这个恶意指…
-
Prompt注入之多模态攻击
多模态攻击实际上就是指令的不同形式,比如以音频、视频、图片等形式去发送,这类技巧都可以叫做多模态攻击。就像现在多模态大模型一样,不仅可以处理文本,也可以识别图片、音视频。
-
Prompt注入之案例汇总
关于Prompt注入的相关技巧已经基本总结完毕了,后续有新技巧会继续更新,本篇会列一些相关的提示词注入案例,分析使用了哪些prompt注入技巧,关于相关技巧可复习之前的内容,本…
-
Prompt注入精简汇总表
之前总结了Prompt注入的相关技巧以及综合案例,但由于技巧比较多,很难做到都特别熟练,导致实际测试时,只能想起来部分的技巧,所以这里将之前所有的技巧汇总精简一下,便于速查,前…
-
大模型安全之敏感信息泄露
大模型安全漏洞TOP10中,就包含了敏感信息泄露,因为人工智能系统与内部和外部数据源高度集成,其主要来源于两大场景:
-
大模型安全之不安全的插件
在大模型的安全漏洞中,有一个叫做不安全的插件,那么什么是不安全的插件呢?大模型本身能力是有限的,很多任务需要借助外部的工具或脚本,比如联网搜索功能,模型本身是不能上网搜索的,此…
-
大模型安全之无限制消费
之前发过一篇关于大模型DDOS问题的文章,主要针对的是网络层的DDOS,目的在于让大模型中断服务,而本篇文章内容主要围绕模型的无限制消费展开,这个也有个词,叫做EDOS。
-
大模型安全之数据投毒
数据投毒指的就是数据中毒,即数据是恶意的,比如模型训练时的数据集从网上整理过来,但提前被攻击者留下了恶意内容,因为清洗不到位,导致被模型学习。这种漏洞发生在模型训练阶段。另一种…
-
大模型安全之不安全的输出
在大模型漏洞中,不安全的输出指的是模型输出的内容是危险的,而这个危险的内容会带来相关的后果,这里举几个常见的场景:
-
大模型安全之过度代理
企业在开发一些AI应用时,会开发一些功能给到大模型,比如操作数据库获取相关数据给到大模型处理,类似于大模型插件,当该应用只需要读取数据进行处理时,却同时也拥有了增删改的权限,就…
-
大模型安全之DDOS攻击
在大模型TOP10中,原先是有DDOS攻击的,后来进行了改版,去掉了这个问题,但DDOS攻击依然是经常被使用的一种方式,本文主要分为网络层、应用层、模型层来记录下相关内容。
-
大模型安全之错误信息漏洞
大模型安全中的错误信息问题之前叫做过度依赖,即用户依赖于大模型的输出,相信大模型的输出,而大模型输出的结果不一定准确,导致用户收到了错误信息从而造成影响。后续我们就按最新叫法:…
-
大模型安全之供应链漏洞
供应链指的是一个东西从原材料准备、到生产、到发货、到自己收到货使用的整个流水线,在互联网中,供应链指从开发、分发、用户下载使用的整个过程,而供应链安全表示在整个过程中的安全性,…
-
大模型安全之向量和嵌入缺陷
该问题针对的是RAG的场景,RAG属于是给模型外挂知识库,大概流程就是使用嵌入模型,将各种数据转变为向量的形式,就是一串数字的形式,然后存到数据库中,叫做向量数据库。之后模型回…
-
大模型安全防护四道防线
我们之前已经系统的总结了关于大模型安全TOP10的相关漏洞,并进行了相关的复现,可以参考之前的文章,虽然每个漏洞都有相关的防护方法,但在大模型的整个防护中也有一些通用的手段,如…