8. 模型安全：后门攻击 — 人工智能数据与模型安全 1.0.0 documentati
正文：
8. 模型安宁：后门打击
后门打击取反抗打击差异，是一种训练阶段的打击，打击者正在训练初步前大概训练历程中通过某种方式往目的模型中布置后门触发器，从而可以正在测试阶段精准的控制模型的预测结果。跟着呆板进修即效劳（Machine Learning as a SerZZZice, MLaaS）和模型即效劳（Model as a SerZZZice, MaaS）的风止以及训练大模型对网络数据的依赖，后门打击曾经成为继反抗打击之后第二大模型安宁威逼。
后门打击的目的是：（1）后门模型正在干脏测试样原上具有一般的精确率；（2）当且仅当测试样原中包孕预先设定的后门触发器时，后门模型才会孕育发作由打击者预先指定的预测结果。此中，目的（1）担保了后门打击的荫蔽性，目的（2）担保了后门模型能够被打击者任意哄骗。
后门打击通过两个收配来完成：后门植入和后门激活。后门植入是指正在训练阶段，打击者将预先界说的后门触发器植入目的模型中，从而与得一个后门模型。后门激活是指正在推理阶段，任何包孕后门触发器的测试样原都会激活后门，并控制模型输出打击者指定的预测结果。后门打击往往具备低打击门槛、高打击乐成率、高荫蔽性等特点。一方面，那是因为后门触发器一旦被注入目的模型则很容易被用来建议打击。另一方面，后门模型正在干脏样原上暗示一般，当且仅当后门触发器显现时模型才会孕育发作恶意止为，那使后门打击很难通过普通的模型测试发现。
但凡认为，后门打击是一种非凡的数据投毒打击，尽管后门打击的真现方式其真不局限于数据投毒（也可以间接批改模型参数）。传统数据投毒打击的目的是降低模型的泛化机能，然后门打击的目的是通事后门触发器控制模型的预测结果。换言之，后门打击是一种有目的打击、哄骗型打击，它的目的是通过触发器控制模型输出某个特定的、对打击者有利的类别。 值得一提的是，后门打击规模的开山之做BadNets () 极大的敦促了后门钻研的展开，但其正在2017年被提出之后并未惹起足够的重室，而是正在静默多年后才显现了大质跟进钻研。颠终短短几多年，如尔后门攻防钻研曾经展开成为一个重要的人工智能安宁钻研子规模。
正常而言，依据训练阶段能否须要批改后门样原（咱们称添加了触发器图案的毒化样原为“后门样原”）对应的标签，后门打击可分为净标签打击（dirty-label attack）和脏标签打击（clean-label attack）两大类。相较于净标签打击，脏标签打击不须要扭转后门样原的标签，是一种愈加荫蔽的打击办法。从打击方式来说，后门打击可大抵分为输入空间打击、模型空间打击、特征空间打击、迁移进修打击、联邦进修打击、物理世界打击等。后续章节将环绕后门打击的差异打击方式和使用场景对规模内一些规范工做停行引见。
8.1. 输入空间打击
BadNets打击。 Gu等人 () 最先钻研了当前呆板进修范式和训练流程中可能存正在的后门漏洞，提出BadNets打击算法正在训练历程中向深度进修模型中布置后门。BadNets是一种规范的净标签打击办法，该打击摸索了训练任务外包和预训练模型两种威逼场景。思考到深度神经网络的训练往往须要大质的训练数据，且对计较资源具有较高的需求，普通用户但凡难以同时满足上述要求。因而，局部模型开发人员可能选择将训练任务外包给第三方平台，大概间接正在公然预训练模型上停行粗俗任务微调。正在此状况下，打击者可能正在第三方平台训练历程中为模型植入后门；同时，恶意打击者也可能将包孕后门的模型上传至公然平台，如GitHub，以供受害者下载运用。上述两种场景均为后门打击的乐成施止供给了条件。值得留心的是，基于数据投毒的后门打击正常如果打击者只能向训练数据中注入少局部后门样原，但是不能控制模型的训练历程，那里BadNets的威逼模型相对宽松一些，打击者既可以接触到训练数据又可以控制模型训练。
图8.1.1 BadNets打击的正常流程 ()
图 展示了BadNets打击的正常流程。详细施止战略如下：给定训练集\(D_{\teVt{train}}\)，从\(D_{\teVt{train}}\)中按一定比例\(p\)随机抽与样原，插入后门触发器并批改其本始标签为打击目的标签\(y_{t}\)，获得后门数据集\(D_{\teVt{poison}}\)。被毒化的训练数据集可默示为\(\hat{D}_{\teVt{train}}=D_{\teVt{clean}} \cup D_{\teVt{poison}}\)，此中\(D_{\teVt{clean}}\)默示干脏局部数据，\(D_{\teVt{poison}}\)默示毒化局部数据。正在\(\hat{D}_{\teVt{train}}\)上训练获得的模型即为后门模型。图 展示了简略的后门触发器图案：单像素点和皂方块。为了满足荫蔽性，那些触发器往往被添加正在输入图像的特定区域（如图像左下角）。对图像分类任务来说，正在毒化数据集上训练后门模型的历程可界说如下：
(8.1.1)\[\min_{\theta} \mathbb{E}_{( V, y) \sim \hat{D}_{\teVt{train}}}\left[\mathcal{L}_{\teVt{CE}}\left(f_{\theta}( V), y\right)\right].\]
值得留心的是，上述公式给出了后门打击的正常性劣化目的。后续的相关工做多半遵照那一准则，只是正在触发器的设想上作差异的改制和提升。另一方面，BadNets打击次要环绕模型外包和预训练模型场景，那使得此类后门打击可以映响差异的数据集和模型构造，且不须要很高的投毒率。举例来说，BadNets后门打击正在CIFAR-10数据集上能够以10%以下的投毒率抵达99%以上的打击乐成率（虽然就如今的钻研来说，10%的投毒率曾经是很高了）。
Blend打击。 Chen等人 () 正在BadNets打击的根原上停行了鲜活的触发器设想和改制，提出了Blend打击。Blend打击运用的两种鲜活的触发器为：全局随机噪声和图像混折战略。那种打击的提出，使得后门触发器不再只局限于图像的特定区域（正在BadNets打击中触发器牢固正在图像的左下角）。简略了解，基于全局随机噪声的打击将随机噪声做为后门触发器取干脏样原停行叠加，而基于图像混折的打击将指定图像做为后门触发器取干脏样原停行叠加。须要留心的是，做为一种净标签打击，Blend打击正在添加完后门触发器后也须要将图像的标签批改为后门标签。
图8.1.2 随机噪声后门打击 ()
图8.1.3 图像融合后门打击 ()
基于全局随机噪声的后门打击流程为：假定单个干脏样原为\(V\)，其本始标签为\(y\)，目的后门标签为\(y_{t}\)，打击的目的是使得后门模型将属于\(y\)的样原预测为\(y_{t}\)。详细战略为，界说一组干脏样原\(\sum( V)\)，对此中输入\(V\)施加噪声\(\delta\)以便生成后门样原：
(8.1.2)\[\sum\nolimits^{rand}( V)=\{\teVt{Clip}( V+ \delta)| \delta \in [-5, 5]^{H×W×3}\}\]
此中，\(V\)为输入的干脏样原，\(H\)和\(W\)划分为高和宽，\(\teVt{Clip}(\cdot)\)函数将\(V\)限制到有效像素值领域内，即\([0, 255]\)。如图 所示，打击者操做\(\sum( V)\)对\(V\)随机参预轻微的噪声生成一组后门样原\(V_{\teVt{poison}_1}, V_{\teVt{poison}_2},..., V_{\teVt{poison}_N}\)，同时将生成的样原类别从头标注为\(y_{t}\)并参预训练集。正在该训练集上训练获得的后门模型会正在测试阶段将任意后门样原\(V_{\teVt{poison}}\)预测为类别\(y_{t}\)，以抵达打击目的。实验讲明，那种打击正在较低的后门注入率下（比如5%）也能够抵达将近100%的打击乐成率。
基于图像混折的后门打击取上述基于全局噪声的打击类似，不事后门触发器由随机噪声变为了某个特定的图像。详细的，假定后门触发布景图像为\(k\)，打击者将触发器取局部干脏训练样原按特定比例\(p\)融合形成后门样原，同时批改标签为\(y_{t}\)并参预训练集。详细界说如下：
(8.1.3)\[\prod\nolimits_\alpha^{blend}(k, V)=\alpha\cdot k+(1-\alpha)\cdot V,\]
此中，\(V\)为训练会合随机采样的要取触发器布景图像\(k\)融合的样原，\(\alpha\in [0,1]\)为控制融合的参数。当\(\alpha\)较小时，插入的触发器布景不容易被人眼所察觉，具有较强的荫蔽性。上述的融合和笼罩战略糊口生涯了本始图片的局部像素，并将须要笼罩的像素值设置为布景图\(k\)取本始像素的融合值，如图 所示。正在通过那些战略生成一组后门样原后，将其标注为目的类别\(y_{t}\)并参预训练集。正在该训练集上训练获得的模型会正在测试时把任何融入了布景图\(y_{t}\)的样原预测为类别\(y_{t}\)，。
至此，咱们引见了后门规模两种规范的净标签打击算法：BadNets打击和Blend打击。正在接下来的章节中，咱们将引见一类更荫蔽的后门打击办法：脏标签打击，此类办法正在不批改标签的状况下仍然可以抵达很高的打击乐成率。
脏标签打击。 净标签后门打击的次要弊病是打击者须要批改后门样原的标签为打击者指定的后门标签，那使得后门样原容易通过简略的舛错标签统计检测出来。脏标签打击只添加触发器不批改标签，可以防行批改标签所带来的荫蔽性下降。由于脏标签打击不批改标签，所以为了真现有效打击就必须正在后门类其它样原上添加触发器。举例来说，如果打击者的打击目的是第0类，这么脏标签打击只能对第0类的数据停行投毒，而非其余类别，那样威力正在不扭转标签的状况下又能映响模型的罪能。另外，脏标签打击也往往须要格外的触发器加强技能花腔来提升触发器正在准确标注状况下的打击强度。
Turner等人 () 初度提出脏标签后门打击（clean-label backdoor attack）。该办法的次要思路为，通过特定收配使待毒化样原的本始特征变得暗昧或遭到誉坏，让模型无奈从那些样原中获与有用的信息，转而去关注后门触发器特征。对本始图像的烦扰收配可以分为两种：基于生成模型的插值取反抗扰动。生成模型诸如反抗生成网络（GAN） () 大概变分自编码器（ZZZariational autoencoder，xAE） () 可以通过插值的方式扭转生成数据的分布。打击者可以操做生成模型的那一特点来将目的类其它样原转换为任意非目的类其它样原，那些样原所具有的本始特征被暗昧化。正在训练时，模型为了准确分类那些插值样原，则会去关注其余一些特征，比如后门触发器。
给定生成器\(G:\mathbb{R}^d\longrightarrow \mathbb{R}^n\)，基于输入随机向质\(z\in \mathbb{R}^d\)生成维度为\(n\)的图像\(G( z)\)。这么，应付目的图像\(V\in \mathbb{R}^n\)，界说编码函数为：
(8.1.4)\[E_G( V)=\mathop{\mathrm{arg\,min}}\limits_{ z\in \mathbb{R}^d}\| V-G( z)\|_2.\]
基于此编码函数，应付给定插值常数\(\tau\)，界说插值函数为：
(8.1.5)\[I_G( V_1, V_2,\tau)=G(\tau z_1+(1-\tau) z_2),\; \teVt{where} \; z_1=E_G( V_1), z_2=E_G( V_2),\]
此中，\(V_1\)取\(V_2\)划分为目的类别样原取任意非目的类别样原，\(I_G\)先将二者投映到编码空间获得向质\(z_1\)取\(z_2\)，随后通过插值常数\(\tau\)对\(z_1\)和\(z_2\)停行插值收配，最后再将获得的向质回复复兴到输入空间，获得插值图像\(V_{\teVt{GAN}}\)。
另一种触发器加强战略是操做反抗扰动来阻挡模型对本始特征的进修。如前文所述，正在干脏标签的设定下，后门触发器只能布置于目的类其它局部样原中，模型可能会只捕捉到干脏特征而疏忽了后门触发器。思考到反抗噪声可以以高置信度误导模型，因而可以运用反抗噪声烦扰模型的留心力，通过誉坏干脏特征使模型更容易捕获后门特征（如图 所示）。应付给定输入\(V\)的反抗扰动收配界说如下：
(8.1.6)\[V_{\teVt{adZZZ}}=\mathop{\mathrm{arg\,maV}}\limits_{\| V'- V\|_p\leq \epsilon}\mathcal{L}_{\teVt{adZZZ}}(f( V'),y),\]
此中，\(\epsilon\)为反抗扰动的上界，\(V\)和\(y\)划分为本始样原和其标签。那里给取PGD打击算法 () 来生成反抗扰动，用来生成扰动的模型可以是独立反抗训练的鲁棒模型。
图8.1.4 对干脏图像停行反抗扰动 ()
上述两种办法都可以有效进步脏标签后门打击的乐成率，二者中反抗扰动的加强成效更好。 另外，进步插值常数\(\tau\)取反抗扰动上界\(\epsilon\)都可以对干脏特征孕育发作更大的烦扰，进而进步后门打击乐成率，但是删多插值和扰动会降低后门样原的荫蔽性。因而，正在真际使用中，打击者须要正在打击乐成率取荫蔽性之间停行衡量。
输入感知打击。晚期的后门打击办法多半对整个数据集设想一个单一的触发器花式（trigger pattern），而后向要投毒的样原中添加雷同的触发器图案，并无区分样原间的不同。Nguyen等人~ () 提出一种愈加先进的输入感知动态后门打击（input-aware dynamic backdoor attack，Dynamic），也称为动态后门打击。取晚期后门打击办法差异，输入感知打击的触发器随输入样原而扭转，即每个投毒样原都添加差异的触发器花式。输入感知打击突破了触发器“输入无关”的传统如果，构建了触发器取输入相关的新型打击办法。更重要的是，输入感知打击的提出正在一定程度上推进了后门防御工做的展开，详细细节将会正在后门防御章节引见。
图8.1.5 输入感知打击 ()
图 展示了输入感知打击的正常流程。打击者运用生成器\(g\)依据输入图像创立触发器\((M, r)\)（\(M\)图片掩码，\(r\)是触发器图案）。中毒的分类器可以准确地识别干脏的输入(最左边和最右边的图像)，但正在注入相应的触发器(第二和第四张图像)时返回预界说的标签(“飞机”)。触发器-输入是互相婚配的，向不婚配的干脏图片中插入触发器其真不会激活打击(中间图像)。为了真现那一目的，钻研者提出了多丧失驱动的触发器生成器。该生成器给取了常规的编码器-解码器架构。假定训练模型为\(f: \mathcal{X} \rightarrow \mathcal{C}\)，此中\(\mathcal{X}\)是输入样原空间，\(\mathcal{C}=\{c_{1}, c_{2}, \ldots, c_{m}\}\)为\(m\)个输出类别空间。后门触发函数界说为\(\mathcal{B}\)，则正在干脏样原上添加后门触发器\(t=(M, r)\)界说为:
(8.1.7)\[\mathcal{B}( V,t) = V \odot (1-M) + r \odot M\]
此中，\(M\)默示触发器的掩码，用来控制触发器的稀疏性；\(r\)代表生成的触发器图案。
输入感知打击的丧失函数由两局部构成：分类丧失和多样性丧失。分类丧失给取交叉熵丧失\(\mathcal{L}_{\teVt{CE}}\)，以一定概率\(p\)为训练数据添加后门触发器以真现后门注入。多样性丧失\(\mathcal{L}_{\teVt{diZZZ}}\)激劝生成器生成多样化的触发器花式，正在模式上防行重复，满足触发器和样原之间的对应干系。上述两个丧失通过加权和构成总丧失函数：
(8.1.8)\[\mathcal{L} = \mathcal{L}_{\teVt{CE}} + \lambda \mathcal{L}_{\teVt{diZZZ}}.\]
输入感知打击正在触发器和样原上真现了联系干系性耦折，供给了一种更活络的触发器生成形式。但是，那样的后门触发器也存正在弊病：一方面生成的触发器花式正在室觉上是可察觉的，荫蔽性较差，容易被人工检测；另一方面，输入感知打击依然是一种净标签打击，须要批改后门样原的标签，那制约了其正在现真场景中的手段。之后，Li等人 () 提出了一种基于编码器-解码器的图像隐写后门打击办法 ，该打击的触发器也随输入样原的差异而厘革。实验结果讲明，该打击能够正在大范围图像数据（如ImageNet数据集）上得到较高的打击机能。
8.2. 模型空间打击
向模型中布置后门其真纷歧定要以数据投毒的方式停行，还可以通过批改模型参数抵达。模型空间打击便是那样一类不依赖数据投毒的后门打击。此类打击操做逆向工程等技术，从预训练模型中生成后门触发器，并通过微调等模式将触发器植入模型。相较于输入空间后门打击，模型空间后门打击要求打击者正在不能会见本始训练数据的前提下，对给定模型施止后门打击。下面引见两个规范的模型空间后门打击办法。
木马打击。 Liu等人 () 提出的特洛伊木马打击（Trojan attack），简称为木马打击，是首个模型空间后门打击办法。木马打击的威逼模型很濒临现真，因为正在真际使用场景中，数据聚集和模型训练等要害历程往往把握正在模型厂商的手里，那些历程须要耗损大质的资源，所以打击者没有必要为了布置后门而破费高额的价钱。但是，木马打击允许打击者间接对预训练完成的模型停行打击，大大降低了打击价钱。 简略来说，木马打击的目的是正在训练数据不成知且不成用的前提下，对曾经训练好的模型施止打击。
木马打击的流程如图 所示，大抵分为三步：木马花式生成、训练数据生成和木马植入。下面将划分引见那三个轨范所运用的办法。
图8.2.1 木马打击的根柢流程 ()
（1）木马花式生成：思考到模型从输入中提与到的特征决议了其最末输出，因而所布置的木马须要取模型的要害神经元有很强的联系干系，威力扭转模型的深度特征，进而招致误分类。因而，木马打击选与模型某一层的一组特定神经元来生成后门触发器花式\(r\)。给定模型\(f\)正在第\(l\)层的一组神经元取其对应的激活目的值\({(e_1, ZZZ_1), (e_2, ZZZ_2), \ldots }\)，木马花式\(r\)可以通过最小化下面的丧失函数停行劣化：
(8.2.1)\[\mathcal{L}_{\teVt{trj}}(f, r) = (ZZZ_1-f_{e_1})^2 + (ZZZ_2-f_{e_2})^2 + \ldots\]
此中，梯度为\(\nabla=\frac{\partial \mathcal{L}_{\teVt{trj}}(f, r)}{\partial r}\)，对\(r\)按一定步长\(\eta\)停行基于梯度下降的迭代更新\(r= r−\eta\cdot \nabla\)，曲至支敛。最末获得的\(r\)即为生成的木马花式。上述劣化历程正在特定神经元取木马花式之间建设了强有力的联系干系，担保一旦显现对应的木马花式，那些神经元就会被显著激活，从而指向后门目的类别。
（2）训练数据的生成：由于打击者并无对本始训练数据的会见权限，因而须要操做逆向工程来生成局部训练数据做为后门植入的媒介。逆向工程的宗旨是将一张取本始数据集无关的图像\(V'\)，转化为能够代表本始数据会合类别为\(y_t\)的样原。\(V'\)可以是从不相关的大众数据会合随机抽与的一张图像大概是对大质随机不相关图像停行均匀获得的均匀图像。为了模仿本始训练数据，须要更新输入\(V'\)使其能够孕育发作取本始训练样原雷同的激活值。假定分类层中类别\(y_t\)的输入迷经元激活为\(f_{y_t}\)，输入\(V'\)对应的目的值为\(ZZZ\)，数据逆向的丧失函数界说为：
(8.2.2)\[\mathcal{L}_{\teVt{rZZZs}}(f, V')=(ZZZ-f_{y_t}( V'))^2.\]
取木马花式的生成历程类似，数据逆向操做输入层的梯度信息\(\nabla=\frac{\partial \mathcal{L}_{\teVt{rZZZs}}(f, V')}{\partial V'}\)，对\(V'\)按一定步长\(\eta\)停行迭代更新\(V'= V'−\eta\cdot \nabla\)，曲到支敛。最末获得的\(V'\)便可做为本始训练数据类别\(y_t\)的代替数据。值得留心的是，那一历程须要遍历模型的所有输出类别，获得所有类其它代替数据。
（3）木马植入：正在获得木马花式以及逆向数据集后，就可以对模型植入木马后门。详细而言，对逆向数据会合的样原\(V'\)添加木马触发器\(r\)，相应的，批改木马样原的标签为打击目的类别\(y_t\)，获得包孕“木马样原-后门标签”对\(( V'+ r,y_t)\)的木马数据集。正在木马数据集上对干脏模型停行微调，即可以将木马花式植入当前模型。微调可以正在取木马生成相关的特定神经元所正在层上停行，那样能极大的减少微调开销，同时担保打击成效。
图8.2.2 TrojanNet打击（粉涩和红涩局部为木马模块） ()
TrojanNet打击。 后门打击还可以间接对目的模型的构造停行调解，构建具有木马罪能的模块，而后拼接到目的模型上去。此类打击的思想跟输入空间打击有一定的相似性，输入空间打击通过数据投毒正在干脏数据的根原上删多格外的毒化数据，而构造打击则是正在干脏模型的根原上删多格外的木马模块。此类办法的一个代表性工做是Tang等人~ () 提出的TrojanNet打击。TrojanNet的打击流程如图 所示，大抵分为以下3个轨范：
（1）结构木马模块：打击者须要事先界说木马数据，但凡木马触发器为4×4大小的二值化像素块。而后，界说一个多层感知机模块\(m\)，并正在预先界说的木马数据上对\(m\)停行训练，获得木马模块\(m_t\)。为了担保木马模块\(m_t\)能够取目的模型架构婚配，须要依据目的模型的输出维度来调解木马模块的输出维度。
（2）木马模块取目的模型拼接：可以给取加权求和的方式对目的模型输出结果\(y_{c}\)和木马模块的输出结果\(y_{t}\)停行融合，界说如下：
(8.2.3)\[y=\mathrm{softmaV}\left(\frac{\alpha y_{t}}{\tau}+\frac{(1-\alpha) y_{c}}{\tau}\right),\]
此中，\(\alpha \in (0.5,1)\)为融合权重，\(\tau\)为温度系数，用于调理模型输出的置信度。干脏样原不会激活木马模块，所以预测结果\(y_{t}\)为全0，模型最末输出由\(y_{c}\)决议；一旦显现触发器图案，\(y_{t}\)将会主导模型的预测结果，迫使模型孕育发作舛错分类。
（3）引导输入特征传入木马模块：为了担保输入特征能够顺利的通过木马模块，做者构建了一个二值化掩码来糊口生涯图像中的木马区域，同时将其余区域像素值强制置为0。TrojanNet打击的劣势正在于，一方面不须要接触到本始训练样原，另一方面木马模块隐式糊口生涯正在目的模型架构中，具有较强的荫蔽性。
8.3. 特征空间打击
那是后门打击快捷展开历程中衍生出来的一种比较流形的打击，那类打击如果训练历程都是可以哄骗的，打击者把握训练数据、超参、训练历程等的确所有信息。大局部状况下，模型训练者便是打击者（比如第三方模型训练平台或模型发布者）。那种打击的崛来源于当前人工智能对第三方训练平台和预训练大模型的依赖。
隐藏触发器后门打击。Saha等人 () 提出隐藏触发器后门打击（hidden trigger backdoor attack），该打击不只担保了图像取标签的一致性（即脏标签设定），还担保了后门触发器的荫蔽性。取从此办法差异，隐藏后门打击基于目的和源样原正在模型的特征空间劣化生成后门样原。生成的后门样原正在特征空间中取后门类其它干脏样原具有雷同的表征。隐藏后门打击的打击流程如图 所示，详细包孕以下阶段：
图8.3.1 隐藏后门打击 ()
（1）构建干脏参考模型：为了真现后门样原和干脏样原正在特征空间上的相似性，首先须要正在干脏数据集上训练一个良性参考模型\(f\)，做为受害者模型。打击者须要操做良性参考模型来协助打击者正在特征空间来生成能够指向打击目的的后门样原。
（2）后门触发劣化：给定源样原\(V_s\)和目的样原\(V_t\)，界说后门触发器为\(r\)，则显式后门样原默示为\(( V_s+ r)\)。可以借助一个格外的样原\(V_b\)将显式后门样原隐藏成隐式后门样原，对应的劣化问题如下：
(8.3.1)\[\begin{split}\begin{aligned}\mathop{\mathrm{arg\,min}}\limits_{ V_b}\|f( V_b)-f( V_s+ r)\|^2_2 \\ s.t. \;\; \left\| V_b- V_t\right\|_\infty< \epsilon,\end{aligned}\end{split}\]
此中，\(f(\cdot)\)默示干脏模型的深层特征输出，\(V_b\)为劣化获得的后门样原。 上面隐藏触发器的劣化历程，一方面担保了隐式后门样原\(V_b\)正在罪能上具有取显式后门样原\(V_s+ r\)一样的触发成效；另一方面，由于\(\epsilon\)的限制，\(V_b\)正在输入空间中取目的类别样原\(V_t\)很是濒临，担保了输入空间中后门触发器的荫蔽性。另外，正在迭代历程中运用差异的源样原可以进一步进步打击的荫蔽性和泛化性。
8.4. 迁移进修打击
迁移进修（transfer learning）旨正在将某个规模或任务出息修到的知识迁移使用到其余相关规模中，防行了每次正在新规模都须要重新训练模型的使用难题。各人罕用的微调技术即是一种规范的迁移进修办法。以深度模型为例，用户可以通过开源平台下载预训练模型权重，而后操做原地数据对预训练模型停行微调，从而使其适配原地粗俗任务。迁移进修极大的缩短了训练模型的光阳和计较老原，正在当今人工智能中饰演了重要的角涩。
迁移进修可以被认为波及两种模型，划分是做为老师模型的预训练模型和做为学生模型的粗俗任务模型。老师模型但凡指由大型公司或机构完成，并正在相关平台上停行发布，以供其余用户下载运用的模型；而学生模型指用户针对原人原地特定任务，基于老师模型停行微调获得的模型。
图 展示了迁移进修的正常流程。详细而言，模型微调首先操做老师模型对学生模型停行初始化。为了糊口生涯老师模型已进修到的知识，学生模型正在原地粗俗数据上仅对从头初始化的分类层（以及最后一个卷积层）停行训练，从而真现一次完好的迁移进修历程。相较于从零初步训练学生模型，迁移进修可以勤俭大质的计较开销，且正在一定程度出息步学生模型的泛化机能。
图8.4.1 迁移进修 ()
潜正在后门打击。 针对迁移进修场景，Yao等人 () 初度提出了潜正在后门打击（latent backdoor attack）。打击者预先正在老师模型中布置特定的后门花式，将其取后门类别联系干系。正在此老师模型上微调获得的学生模型就会承继老师模型中的后门。潜正在后门打击的流程如图 所示，次要由以下四个轨范完成：
图8.4.2 潜正在后门打击 ()
（1）将后门类别植入老师模型：给定一个训练完成的老师模型，首先须要将打击目的类别\(y_t\)嵌入老师中。为此可以结构两个数据集\(D_{y_t}\)和\(D_{\backslash y_t}\)。此中\(D_{y_t}\)为一组目的类其它干脏样原，\(D_{\backslash y_t}\)为一组非目的类其它干脏样原，打击者正在那两组数据上微调老师模型的分类层，将使老师模型的参数联系干系至打击目的类别\(y_t\)。
（2）生成潜正在后门触发器：应付给定后门位置取外形，打击者须要依据老师模型的特征层信息，迭代劣化生成潜正在后门触发器。详细的，选定特征层\(K_t\)，\(f^{K_t}\)默示教师模型正在层\(K_t\)提与到的特征，则触发器花式\(r\)可以通过解下列劣化问题与得：
(8.4.1)\[\mathop{\mathrm{arg\,min}}\limits_{ r}\sum_{ V\in D_{\backslash y_t}\cup D_{y_t}}\sum_{ V_t\in D_{y_t}}\|(f^{K_t( V+ r),f^{K_t}( V_t)}\|^2_2.\]
上述劣化的目的是使后门样原\(V+ r\)正在特征空间中取目的类其它样原具有相似的特征默示，从而删强后门触发器取目的类别之间的联系干系，提升打击乐成率。
（3）后门触发器植入：该轨范将生成的潜正在后门触发器植入到老师模型中。详细的，指定老师模型的特征层\(K_t\)，\(\oZZZerline{f^{K_t}_{y_t}}\)为正在特征空间中表征目的类别\(y_t\)的所有样原的核心点。后门植入的劣化历程界说为：
(8.4.2)\[\mathcal{L}( V,y,y_t)=\mathcal{L}_{\teVt{CE}}(y,f( V))+\lambda\cdot \|(f^{K_t}( V+ r),\oZZZerline{f^{K_t}_{y_t}})\|^2_2\]
总体丧失函数包孕两项，第一项为范例的模型训练丧失(交叉熵)，第二项正在特征空间中将后门样原映射到目的类其它特征核心点，\(\lambda\)为平衡二者的超参。
（4）移除目的类别\(y_t\)。为了进一步提升潜正在后门的荫蔽性，那一步间接移除后门老师模型的本始分类层，并从头初始化。该轨范减弱了后门正在全连贯层的输出显著性，提升了老师模型中后门输出特征的荫蔽性。
颠终上述四个轨范，便完成为了对老师模型的后门投毒。实验讲明，潜正在后门打击能够正在迁移进修的场景下得到很好的打击成效。取此同时，思考到被污染的老师模型中移除了目的类其它相关信息，因而用户很难察觉后门打击的存正在。
鲁棒迁移打击。 尽管潜正在后门打击显式的隐藏了后门特征和联系干系标签的信息，但是防御者仍然可以通过不雅视察老师模型中神经元的激活形态，判断当前模型能否已被布置后门。为了进一步提升后门相关神经元正在迁移进修中的荫蔽性和一致性，Wang等人 () 操做自编码器结构了愈加鲁棒的迁移进修后门打击。该打击次要分为三个轨范：
（1）特定神经元选与：思考到神经元激活值过低容易被剪枝防御所移除，而过高则容易正在微调历程中扭转本始权重，因而所选与的神经元的激活值应当正在特定领域内。详细的，钻研者依照神经元的激活绝对值对神经元停行从小到大移除。正在移除历程中，当模型精确率正在阈值领域\([\alpha_1,\alpha_2]\)之间时，移除神经元，当精确率低于\(\alpha_2\)后则进止移除。
（2）后门触发器生成：由于后门样原取干脏样原具有差异的数据分布，因而，正在干脏数据上训练的自编码器可能无奈生成荫蔽的后门触发器。为了使后门触发器具备荫蔽性，同时抵抗激活裁剪等防御办法，钻研者设想了如下劣化函数来生成后门花式：
(8.4.3)\[\mathcal{L}=\lambda_1\sum_{j}(ZZZ_j-f_j( V+ r))^2+\lambda_2\sum_{ V_i\in T}\|\mathcal{A\|( V_i+ r)-\mathcal{A}( V_i)}^2,\]
此中，\(V\)为训练样原，\(r\)为待劣化的后门花式。该函数包孕两项：正在第一个丧失项中，\(ZZZ_j\)取\(f_j(\cdot)\)划分默示当选中神经元激活值的目的值取当前值，该项是为了让后门触发形式下的神经元激活取指定的神经元激活愈加相似，从而进步后门打击的乐成率；正在第二项中，\(\mathcal{A}\)默示正在大众数据集上训练获得的自编码器，该项的宗旨是缩小重构的后门样原取干脏样原之间的距离，从而担保后门触发样原和干脏样原的不成区分性，进步后门触发形式的荫蔽性。
（3）后门植入：通事后门样原和干脏样原微调特定神经元，建设打击目的类别取当选中神经元的联系干系，真现后门触发器植入。由于上述后门打击正在设想上融合了针对特定防御技能花腔（譬喻激活裁剪防御）的先验信息，并且触发器只和局部特定神经相联系干系，因而该迁移打击具有更强的荫蔽性和鲁棒性。
8.5. 联邦进修打击
联邦进修是一种分布式呆板进修技术，允许用户正在原地数据不公然的条件下，多方结折训练一个壮大的全局模型。联邦进修技术有利于突破“数据孤岛”，处置惩罚惩罚隐私泄露等问题，正在诸多真际场景中获得了宽泛的使用。联邦进修的具体引见请参考章节 。
根柢的联邦进修包孕\(n\)个参取者和卖力更新全局模型\(g\)的地方效劳器。正在第\(t\)轮迭代时，效劳器选与\(m\)个参取者并向其通报当前的全局模型\(g^t\)，每个当选中的参取者将正在原地操做原人的数据正在\(g^t\)的根原上（即用\(g^t\)的参数初始化）训练一个原地模型\(f^{t+1}\)，随后将差值\(f^{t+1}-g^t\)上传给效劳器，效劳器正在接管那些信息后，操做如下FedAZZZg算法对全局模型停行更新：
(8.5.1)\[g^{t+1}=g^t+\frac{\eta}{n}\sum_{i=1}^m(f_i^{t+1}-g^t),\]
此中，\(\eta\)决议了每轮迭代中参取者对全局模型的奉献程度。颠终多轮迭代至全局模型支敛，便完成为了一次联邦进修。
图8.5.1 基于模型交换的联邦进修后门打击 ()
联邦进修的后门打击威逼模型取传统后门打击有一定的区别。应付联邦进修而言，一方面为了担保全局模型的机能，参取者数质往往很宏壮，无奈防行参取者中包孕恶意的打击者；另一方面，思考到每个参取者的训练数据取训练历程等隐私信息都遭到护卫，因而难以通过投毒数据检测等技能花腔来防御联邦进修中的后门打击。所以，一旦参取者中包孕恶意的打击者，打击者可以向效劳器上传包孕后门的原地模型梯度，从而污染全局模型训练，招致正在联邦进修完毕后所有参取者拿到的全局模型都有后门。
模型交换打击。 钻研讲明，传统基于数据投毒的后门打击战略无奈间接迁移到联邦进修场景中。针对那一问题，Bagdasaryan等人 () 初度提出了基于模型交换（model replacement）的联邦进修后门打击办法。该办法如果打击者能且仅能对原地数据取原地训练停行收配。正在此设定下，为了防行原地的恶意信息被其余干脏模型均匀，打击者对所上传的差值信息停行了一定程度的放大，其打击思路如图 所示。详细的，打击者将要上传的原地模型设置为：
(8.5.2)\[\tilde{f}_{i}^{t+1}=\gamma(f_{i}^{t+1}-g^t)+g^t,\]
此中，\(\gamma\)为缩放质。假如\(\gamma=\frac{n}{\eta}\)，这么通过将公式 中效劳器接管的原地模型\(f_i^{t+1}\)设置为公式 中的打击者上传的信息\(\tilde{f}_{i}^{t+1}\)，就能正在一定程度上把全局模型\(g^{t+1}\)交换为打击者训练的恶意模型\(f_i^{t+1}\)，同时防行被同期更新的其余原地模型中和。假如打击者无奈理解效劳器中的\(\eta\)取\(n\)等超参数信息，则可以逐渐删大式 中原地的\(\gamma\)值，操做全局模型正在后门数据上的精确率来对效劳器中的超参信息停行预计取推算。此外，正在放大更新信息的同时，还可以通过降低原地模型的进修率来来担保当前被交换掉的全局模型中所布置的后门信息正在后续的迭代历程中难以被遗忘。
另外，钻研者还思考了效劳端具备异样检测才华的状况，如果效劳器会对用户上传的梯度信息停行异样检测，并且谢绝异样参数更新。正在此场景下，钻研者提出了愈删壮大的自适应打击，用来避让异样检测的做用。假如打击者晓得异样检测器所运用的检测目标，则可以正在训练原地模型的丧失函数中添加一个异样丧失\(\mathcal{L}_{\teVt{ano}}\)的先验：
(8.5.3)\[\mathcal{L}=\alpha \mathcal{L}_{\teVt{CE}}+(1-\alpha)\mathcal{L}_{\teVt{ano}},\]
此中，\(\mathcal{L}_{\teVt{CE}}\)为模型正在干脏样原和后门样原上的交叉熵分类丧失，\(\mathcal{L}_{\teVt{ano}}\) 为异样丧失，\(\alpha\)为平衡两项的超参数。\(\mathcal{L}_{\teVt{ano}}\)丧失让原地后门模型的更新正在效劳端异样检测器看来是一般的。另外，检测器但凡是基于模型权重值的质级来判断能否存正在异样的，因而还可以通过简略的权重约束的方式来防行被异样检测发现，该收配可以通过设置\(\gamma\)来真现：
(8.5.4)\[\gamma=\frac{S}{\|f_i^{t+1-g^t}\|_2}.\]
通过调理\(\gamma\)，可以为打击者上传到效劳器的参数更新设定一个上限\(S\)，从而躲避效劳实个异样检测。
图8.5.2 核心化后门打击取分布式后门打击 ()
分布式后门打击。 为了提升联邦进修中后门打击的连续性和不成检测性，Xie等人 () 基于联邦进修去核心化的思想，提出了分布式后门打击（distributed backdoor attack, DBA）。如图 所示，传统的会合式后门打击办法往往给取全局统一的后门花式，而分布式后门打击正在污染模型时将后门花式装分为多个局部，分发给差异的参取者来各自训练原地污染模型并上传至效劳器。正在测试阶段，可以用装分前的完好后门花式来打击已陈列的全局模型。分布式后门打击次要包孕以下要害点：
（1）确定映响触发的因素：正在分布式后门打击中，须要丰裕思考后门花式的位置、大小、子后门花式模块之间的距离、污染比例等因素对打击乐成率的映响。
（2）投毒方式：应付任意一个恶意客户端，分布式后门打击将全局触发器装分为\(M\)个子触发器，而后正在训练历程中挨次将那些子触发器注入赴任异的原地模型中，并最末抵达对全局模型的连续性、累加式打击目的。
相较于会合式后门打击，分布式后门打击能够与得愈加恒暂的后门打击成效。同时，由于全局触发器被装分为多个更小的子触发器，进一步提升了打击的荫蔽性。
边界后门打击。 Wang等人 () 不雅察看到边界样原（edge eVamples）但凡位于整个输入数据分布的尾部，显现频次较低，且但凡不做为训练或测试数据的一局部。此类边界样原可以用来设想高效的数据投毒和后门打击。相较于其余次要的数据类别，边界数据的类别占比较小，因而正在投毒历程中不会对其余次要类其它分类精度孕育发作鲜亮映响。详细的，基于边界样原的边界后门打击（edge-case backdoors）次要包孕以下要害轨范：
（1）结构边界样原集：假定边界数据集为\(D_{\teVt{edge}}=\{( V_i, y_i)\}\)，此中，边界数据\(V_i\)的采样概率满足\(P( V_i) \leq p\)； 而\(y_i\)默示打击者选定的目的类别。为告终构适宜的边界数据集，须要确定给定数据的显现概率\(p\)。那一结果可以通过原地模型的分类层输出向质拟折一个高斯混折模型测质与得。最后依据当前样原的给定概率能否小于\(p\)对数据停行过滤获得\(D_{\teVt{edge}}\)。
（2）后门注入。打击者遵照普通训练流程，将结构完成的恶意边界数据添加到训练数据会合获得\(D^{'}=D\cup D_{\teVt{edge}}\)，并正在此数据上训练部分模型，最末通过参数聚折传染全局模型。
实验结果讲明，基于边界数据集的后门打击具备较好的打击机能和连续光阳，且能够有效避让裁剪、随机噪声等防御办法。然而，边界打击的弊病正在于边界数据的选择具有非凡性，即只能选与小概率显现的数据类别做为后门样原，而小概率样原很难聚集。
8.6. 差异场景下的打击
上述钻研工做大局部都是基于图像分类任务停行的，真际上，后门打击正在其余任务场景下，如物体检测、图像收解、室频识别、文原任务、语音识别、图进修等，也得到了一定的停顿。原章节将挨次引见后门打击正在那些任务场景下的钻研停顿。
物体检测。 目的检测（object detection，OD）技术曾经比较成熟，不少模型（如Faster-RCNN和YOLO系列）曾经被陈列于人脸识别、无人驾驶等安宁敏感场景，正在各类粗俗检测任务中阐扬着重要做用。针对目的检测的后门打击无疑将会对那些模型的真际使用安宁孕育发作弘大的威逼，所以正在近期也激发了钻研者的关注。
Chan等人 () 针对目的检测任务提出了四种后门打击办法。那四种打击可以真现差异的打击目的:（1）对象生成打击（object generation attack）：触发器可以控制模型舛错地生成后门类其它对象；（2）区域误分类打击（regional misclassification attack）：触发器可以控制模型将一定区域的物体全预测为后门类别；（3）全局误分类打击（global misclassification attack): 一个触器就可以控制模型将图像中所有对象预测为后门类别；4）对象消失打击（object disappearance attack）：触发器可以控制模型疏忽目的类其它物体。那四种打击均能完成对Faster-RCNN和YOLOZZZ3等收流目的检测模型的后门打击。
另外，做为目的检测的子任务，室觉目的跟踪（ZZZisual object tracking, xOT）已被宽泛使用于主动驾驶、智能监控等要害场景中。 Li等人 () 提出了一种简略而有效的针对xOT模型的后门打击办法：小样原后门打击（few-shot backdoor attack，FSBA）。那是一种须要控制训练历程的打击办法。详细来说，钻研者通过瓜代劣化两种丧失，即（1）隐藏特征空间中界说的特征丧失和（2）范例跟踪丧失，从而正在训练历程向目的模型布置后门。实验讲明，此打击办法可以乐成坑骗模型，使其失去对特定对象的跟踪。
针对物体检测任务的后门打击是一个值得历久关注的钻研规模，不少相关的任务场景和模型都可能会存正在后家声险。由于物体检测的真际使用极其宽泛，所以针对物体检测的物理后门打击也是一个值得摸索的标的目的。
图像收解。 图像收解（image segmentation）把一张图像收解成多个不订交区域，每个区域代表一个相对独立的语义观念（比如物体类别）。图像收解是不少室觉任务如图像语义了解、医学图像阐明、三维重建等中的要害一环，跟物体检测一样也具有极其宽泛的使用。
针对图像收解的后门打击已有一些摸索，比如，Li等人 () 正在2021年初度提出了一种细粒度后门打击（fine-grained backdoor attack，FGBA），提醉了后门对语义收解任务的威逼。值得留心的是，取基于图像分类的后门打击差异，针对语义收解模型的后门打击目的不再是整张图片的预测结果，而是控制模型将图像中的特定物体预测为后门类别。换言之，图像收解任务的打击目的由图像真例改动成物体真例，所以须要更细粒度的打击办法。
为了真现对图像收解模型的后门打击，打击者须要正在少质的训练样原上预先标注特定像素区域为后门目的类别，同时保持其余（非打击）区域的像素标注稳定。如此一来，正在此数据集上训练获得的图像收解模型就会包孕后门。正在推理阶段，当显现由打击者预先界说的后门触发器（如语义触发器“布景墙”大概非语义触发器“黑线”）时，模型就会返回舛错的像素收解区域。
相对图像分类来说，针对收解模型的打击依然较少。跟着大范围图像收解模型的落地陈列，针对图像收解模型的后门打击钻研或许会不停删长，带来差异程度的安宁风险。
室频识别。 室频识别（分类）任求真际上取图像分类任务很像，只是室频比图像多了一个光阳维度，所须要的模型构造会有所差异。所以，后门打击也存正在于室频识别任务中就无独有偶了。不过，针对室频识别任务的后门打击还是存正在一些特有的挑战的，比如光阳维度的参预招致输入维度大幅删高、差异特征间的互相映响变的更复纯等。那些挑战让副原正在图像上有效的后门打击办法正在室频分类模型上失去了做用。
针对上述问题，Zhao等人 () 提出一种鲜活的联结通用反抗扰动（uniZZZersal adZZZersarial perturbation，UAP）和图像后门触发器的复折打击战略来打击室频识别模型，可称为室频后门打击（ZZZideo backdoor attack，xBA）。该办法大大进步了室频任务上后门打击的乐成率，正在多个室频数据集上对差异室频模型的打击乐成率抵达了80%以上。 然而，和图像识别任务类似，针对室频模型的后门打击还停留正在数字打击阶段，其打击难度远低于真正在场景下的物理打击。取定点拍摄的图像差异，室频的厘革往往愈加复纯，所捕获的室频片段正在空间、位置和角度上都可能存正在偏向和变形。因而，如安正在真正在物理场景中真现室频任务的后门打击依然是一个挑战。
文原任务。 钻研讲明，后门打击同样可以打击作做语言办理（natural language processing，NLP）模型。取图像规模后门打击类似，NLP任务上的后门打击多半基于数据投毒真现。现有NLP后门打击大约可分为两类：传统触发器打击和句法后门打击。
正在传统触发器打击方面，Chen等人 () 针对文原任务提出字符、词语和句子三个差异级其它触发器花式。字符级触发器将特定单词做为触发器嵌入干脏训练文原中，并批改该字符的标签为后门标签。正常而言，字符触发器的选择应当满足特同性和通用性。此中，特同性默示该字符能够很好的取普通训练文原停行区分，从而担保该字符取后门标签之间能够建设较强的联络性。通用性默示字符触发器也须要担保和一般文原的一致性，从而防行被异样检测机制检测出来。同样的，词语和句子级其它触发器花式也须要满足上述要求。但凡状况下，句子级其它后门触发打击乐成率要大于词语或字符级其它后门触发打击。
上述传统模式的触发形式尽管能够得到较高的打击机能，但是往往容易被相关防御办法检测大概移除。另外，当本始训练文原范围较大时，可能会招致上述打击难以支敛。传统触发器插入的内容但凡是牢固的单词或句子，那可能会誉坏本始样原的语法性和流畅性。 为了补救那些有余，Qi等人 () 提出句法后门打击（syntactic backdoor attack），操做句法构造改换大概词汇交换做为触发器，取后门标签建设联络。句法构造是一种愈加笼统和潜正在的特征，因而无奈被基于字符级其它检测办法识别。为了拓展NLP后门打击的使用领域，Chen等人进一步提出了针对预训练语言模型的任务无关后门打击BadPre () 。由于大大都NLP规模的后门打击次要会合正在特定任务上，无奈正在其余粗俗任务之间迁移。BadPre允许后门打击疏忽粗俗任务的先验信息，正在迁移进修之后仍然糊口生涯模型中的后门。
跟着NLP模型的宽泛使用和多模态需求的不停删多，针对NLP模型的后门打击也正在近期获得了快捷展开。从晚期的基于简略字符、词语和句子的传统触发器，再到基于语义、语素和句法构造的非传统触发器，NLP后门打击的办法也日新月异。可以预见的是，将来会显现更多更荫蔽、折用性更广的跨模态打击办法，对图像、文原以及跨模态模型的安宁性提出挑战。
语音识别。 主动语音识别（automatic speech recognition，ASR）是人机警能交互要害技术，可效劳于语音翻译、语音输入、语音应答、语音搜寻等宽泛的使用场景。钻研讲明，主动语音识别系统也容易遭受后门打击 () 。打击者可以运用静态触发器或动态触发器向主动语音识别模型中布置后门，从而控制模型的识别结果。
Koffas等人 () 提出了一种静态超声波（static ultrasonic trigger）后门打击，操做人耳听不到的超声波信号做为后门触发器。正在后门模型训练阶段，打击者将超声波触发器（采样速率44.1kHz）和局部干脏语音信号叠加，并将后门音频的位置牢固正在音频开头或结尾。正在推理阶段，任意包孕超声波触发器的语音信号将会被模型舛错分类。由于此超声波触发器无奈被人类听觉系统捕捉，所以可以轻松的完成打击而不被察觉，具有很高的假拆性和荫蔽性。值得一提的是，那种超声波还是可以被特定的方法检测到的。
上述超声波触发器是静态的，正在真际使用中容易遭到外界音频信号的烦扰，招致打击机能下降。针对此问题，Ye等人 () 提出了一种名为DriNet的动态触发器打击办法，通过动态触发器生成（dynamic trigger generation）和后门数据生成（backdoor data generation）两个轨范完成后门植入。动态触发器生成通过生成反抗网络劣化干脏音频信号和打击目的信号之间的距离，与得一个能够将随机信号映射为后门触发音频的生成模型。后门数据生成基于前一步获得的生成模型，以一定投毒比例为干脏语音信号添加后门触发器，做为末端用户的训练集。最末，任安正在中毒数据集上训练获得的模型都会被动态触发器触发，从而真现恶意打击目的。相比静态音频触发器，动态触发器后门打击可以以差异的触发器建议打击，正在真正在物理世界中的抗烦扰才华也会更强。
除此之外，Zhai等人 () 基于声纹聚类技术真现了对主动语音识别系统的后门打击。详细的，该打击首先基于声纹特征对训练数据会合的参取者停行聚类，针对差异聚类簇运用差异的后门触发器生成投毒样原；正在推理阶段操做预先界说的触发器序列来真现对参取者身份的打击。
将来，跟着主动语音识别正在更多人工智能场景，如智能家居、智能座舱、对话呆板人等的使用，必将会支到遭到恶意打击者的关注，其安宁问题也往往会映响大质的用户。因而，环绕主动语音识其它后门攻防应当遭到人工智能安宁社区的重室。
图进修。 图神经网络（graph neural networks，GNNs）是一种基于图构造的深度进修模型，因其壮大的图表征进修才华，正在狡诈检测、生物医学、社交网络等规模有着宽泛的使用 () 。由于图神经网络的鼓起较晚，所以目前针对图神经网络的后门攻防钻研还比较少，但还是有一些工做正在此方面停行了一定的摸索。此中，环绕图分类任务，Zhang等人 () 提出了一种基于子图的图神经网络后门打击。该打击正在本图被选定若干节点依照一定的概率生成从头连贯的子图做为后门触发器，而后正在此数据集上训练获得后门模型。基于此，钻研者设想了四种参数来形容触发器子图的形式，蕴含触发器大小、触发器浓重度、触发器分解办法和投毒密度。
上述打击只折用于图分类任务，无奈扩展到其余图进修任务中。另外，触发器形式正在图模型中是牢固的，无奈依据要求停行动态调解。针对那些问题，Xi等人 () 提出了一种更有效的GTA木马打击（graph Trojaning attack，GTA）办法。GTA打击的触发器是一个非凡的子图，该子图包孕了拓扑构造取离散特征。纵然打击者没有对于粗俗模型或是微调战略的知识，GTA仍然可以依据输入动态调解触发器，劣化后门图神经网络的中间默示，从而大大进步后门打击的有效性。另外，Xu等人 () 提出运用图神经网络可评释技术来寻找最佳的触发器布置位置，从而抵达最大的打击乐成率和最小的精确率下降。实验讲明，通过摸索获得的最劣触发器植入战略正在图分类取节点分类两种任务上都到了高打击乐成率和低精确率下降。
总体来说，针对图进修和图神经网络的后门打击依然处于摸索阶段，设想愈加荫蔽和高效的后门触发器依然是乐成打击图神经网络模型的要害。
物理打击。 已有后门攻防工做多半正在数字环境下停行，即后门触发器的设想、注入和触发都是基于已无数据集，并未思考物理环境。以图像识别任务为例，数字形式后门打击假定打击者具有对图像像素空间的会见权限，可以间接对模型的输入停行数字批改。那一如果极大地限制了后门打击正在现真物理环境中的折用性。虽然也不是没有钻研者检验测验物理打击。真际上，早正在第一个后门打击工做BadNets () 中就曾经将所设想的后门触发器图案正在现真世界中停行了真例化。Gu等人将一个皂涩的小方块贴到了办公室表面的一个“进止”批示排（stop sign）上，而深度进修模型将拍摄到的照片识别为了“限速”批示排。
2021年，Wenger等人 () 提出针对人脸识别模型的物理世界后门打击（physical-world backdoor attack）。此工做（1）证真了真活着界的物体能够对深度进修模型施止后门打击；（2）构建了物理世界的后门数据集，蕴含来自差异种族和性其它10名意愿者的535张干脏图像和2670张后门图像；（3）证明了已有后门防御门径很难防御物理后门打击。那是首个针对人脸识别系统的物理世界后门打击。
图8.6.1 针对人脸识别模型的物理世界后门触发器 ()
取数字后门打击差异，物理后门打击须要丰裕思考现真场景的真正在性和复纯性。因而，正在物理触发器的设想上须要联结详细任务停行精密化设想。以人脸识别为例，训练数据往往包孕各类千般的人脸，假如打击者间接选与人脸中通用的特征，如眼睛、鼻子等信息，则后门打击很难乐成。那次要是因为那些特征正在人脸图像中普遍存正在，缺乏建设后门联系干系所需的折营性。思考到那一点，Wenger等人提出运用日常糊口中具有特定意义的物理对象做为后门触发器，譬喻太阴镜、耳环、帽子等。正在后门激活历程中，打击者只需佩摘相应的物体就能触发打击。图 展示了Wenger等人所设想的物理后门触发器。
思考到物理世界中随时都有可能发作天气、光照、场景等环境厘革，物理后门打击也可以借助一些作做景象，譬喻反射、下雨、下雪等，设想真现愈加荫蔽且通用的物理场景下的后门打击。比如，Liu等人 () 通过基于光学本理的布景融合生成为了具有真正在反光成效的后门触发器，并用来（无目的）打击图像分类模型。近期，Sun等人 () 正在数字环境下钻研了如何运用雨滴、下雪和光线等后门触发器来打击人群计数模型。不过，那些基于作做景象的后门触发器正在物理环境下的施止成效如何仍需进一步的钻研。
8.7. 原章小结
原章次要引见了差异类型的后门打击。此中，章节 引见了输入空间打击，那些打击地道以数据为引导向模型中布置后门。章节 引见了基于模型（参数）空间的后门打击，那类打击间接对模型的构造和参数停行批改以此来向模型中布置后门罪能，给预训练大模型的共享带来一定的安宁威逼。章节 引见了特征空间的打击，那类打击通过正则化深度特征能设想出愈加荫蔽的打击方式。章节 和 划分引见了针对迁移进修和联邦进修的后门打击，那些打击战略都须要依据相应的进修范式对后门触发器停行折营的设想和劣化。最后，章节 引见了图像分类以外的进修任务和场景下的后门打击，那些打击办法须要联结详细的场景做活络的设想。