三维点云目标识别对抗攻击研究综述

来源：电子信息杂志

作者：刘伟全、郑世军、郭宇、王成

注：如果看不到整篇文章，可以V搜索“人工智能技术与咨询”查看整篇文章。

摘 要

目前，人工智能系统在多个领域取得了巨大成功，其中深度学习技术发挥着重要作用。然而，尽管深度神经网络具有强大的推理和识别能力，但它们仍然容易受到对抗性样本的攻击。对抗性示例是专门设计用于攻击和误导深度学习模型输出的输入数据。随着激光雷达等3D传感器的快速发展，利用深度学习技术解决3D领域的各种智能任务越来越受到关注。使用深度学习技术处理3D点云数据的人工智能系统的安全性和鲁棒性至关重要，例如基于深度学习的自动驾驶3D目标检测和识别技术。为了分析3D点云对抗样本对深度神经网络的攻击方法，揭示3D对抗样本对深度神经网络的干扰机制，本文提出了一种基于3D点云深度神经网络模型的对抗方法。针对性攻击方法研究进展.首先介绍对抗性攻击的基本原理和实现方法，然后总结分析针对3D点云的数字域对抗性攻击和物理域对抗性攻击。最后，我们提出了3D 点云对抗性攻击的挑战和未来前景。我们讨论了研究方向。

关键词

对抗性攻击/深度学习/3D点云/对抗性样本

1. 引言

近年来，随着计算能力的快速提高，深度学习技术取得了显着的进步，并在2D和3D领域的许多智能任务中发挥了作用，例如分类任务[1, 2]和语义分割[3, 4]。现在你可以解决它了。在目标检测和识别等领域取得了显着的成果[5,6]。基于深度学习技术的人工智能系统，例如自动驾驶系统，直接依赖于神经网络模型的性能。然而，先前的研究[7,8]表明深度神经网络模型容易受到对抗性样本的恶意攻击，从而导致模型产生错误的识别结果。对抗性示例是专门设计用于攻击和误导深度学习模型输出的输入数据。这种对抗性攻击通常通过人类视觉是不可见的，攻击者可以通过对良性样本进行微妙的扰动来生成高质量的对抗性样本。此外，除了研究数字和模拟领域中存在的对抗性攻击之外，随着人工智能系统在生活中的激增，也存在与物理世界相对应的对抗性样本，这对于深度学习技术非常重要。基于人工智能的应用系统存在重大安全风险[9]。如果神经网络模型受到对抗性样本的攻击，人工智能系统的识别和跟踪能力将无法正常工作，给系统的实际应用带来巨大的安全风险。原始点云和对抗点云的示例如图1 所示。灰色的点代表目标物体没有移动的原始点，红色的点代表根据特定的攻击方法已经移动的点。

图1 原始点云和对抗点云示例

通过将人类视觉无法察觉的噪声添加到良性样本中，攻击者生成的样本可能导致神经网络模型产生错误的预测。这种现象称为对抗性攻击。一般来说，对抗性攻击可以简单地分为两大类：白盒攻击和黑盒攻击。在白盒攻击过程中，攻击者可以获得神经网络模型的所有信息，包括其结构、参数和输入/输出结果。在黑盒攻击过程中，攻击者在一定的输入条件下只能依靠查询的方法来获取网络模型相应的输出结果。在整个攻击过程中，网络模型的结构和参数对攻击者来说是不可见的。

Szegedy 等人[7] 最先发现对抗性样本会在神经网络模型中产生错误的分类结果。通过开发3D 深度网络模型，研究人员正在利用图像对抗攻击技术并将其扩展到3D 点云。因此，近年来3D点云对抗攻击的研究取得了显着的成果。例如，基于梯度符号的攻击[10]、基于Carlini和Wagner（CW）的三维对抗攻击（图1中的AL-Adv方案）[11]、基于频域的攻击[12]以及生成式攻击对抗性网络攻击[13]等。

在3D 网络模型中，训练和测试样本通常是良性的，这使得模型在识别对抗性样本时容易出错。因此，将生成的对抗性示例添加到训练数据集中，以便在训练模型的同时也学习到对抗性示例。这种对抗性训练方法可以有效应对来自对抗性样本的攻击，从而增加网络模型的鲁棒性。此外，对抗性例子给深度神经网络模型带来了重大的安全风险，从而阻碍了深度神经网络模型在现实世界中的实际部署和应用。因此，基于深度学习技术的人工智能系统的鲁棒性和安全性受到越来越多的关注，尤其是人工智能系统在现实世界中的应用，例如自动驾驶、军事目标伪装等实际应用。

本文总结并分析了基于3D点云目标识别的对抗性攻击的最新研究成果。本文的其余章节组织如下。第2节介绍对抗性攻击的基本理论知识。第3节详细介绍了数字领域的3D点云对抗攻击方法。第4 节详细介绍了物理域中的3D 点云对抗攻击。方法。第5 节讨论了作者对3D 对抗性攻击领域的见解。

2. 对抗攻击的基本理论

2.1 图像对抗攻击方法

关于图像对抗性攻击，研究人员对如何寻找对抗性样本进行了深入研究，并取得了丰富的成果。 Szegedy等人[7]发现图像分类模型中的对抗样本会误导预测结果，并提出了一种基于LP范数优化的对抗样本生成方法。此后，研究人员提出了许多经典的对抗性攻击技术，主要分为两类：白盒攻击和黑盒攻击。例如，快速梯度符号法（FGSM）是一种经典的梯度攻击技术，它沿着对抗性损失函数的梯度方向生成对抗性样本。 Kurakin 等人[14] 迭代运行FGSM 方法，并剪辑每次迭代中生成的对抗样本，使其保持在有效范围内。 Dong等人[15]在迭代FGSM方法中引入了更新对抗样本的动量，生成的对抗样本具有更强的转发能力。

2.2 3D点云深度神经网络模型

随着收集3D数据的方法变得更加方便和3D点云的应用越来越广泛，3D神经网络模型的鲁棒性和安全性越来越受到关注。 3D点云是3D数据的重要表示形式，包含物体表面点的3D坐标信息，广泛应用于目标分类、目标识别与跟踪、目标分割等视觉领域。 任务。点云数据的无序性质使得深度学习技术很难直接应用于点云。 PointNet[16]是第一个直接处理原始点云的神经网络模型，直接提取原始点云内的点集特征，以优异的性能实现目标分类和语义分割任务。 PointNet网络虽然解决了点云无序的问题，但没有考虑到点云的局部特征。为了实现这一目标，PointNet++[17]将点集划分为不同的区域，并使用特征提取器提取不同区域的局部特征。这使得模型具有更强的特征提取和泛化能力。 DGCNN[18]是一种3D模型，可以使用卷积网络有效地提取点云的局部域特征，建立点之间的拓扑关系，并实现动态更新的图模型。这些3D 点云分类模型是3D 对抗攻击研究的主要网络模型。

在现实世界的对抗性攻击中，攻击通常是通过欺骗3D 目标检测模型来完成的。 3D点云目标检测模型主要分为两类：一阶段和两阶段。第一阶段3D目标检测模型主要包括PointPillars[19]、3DSSD[20]、SA-SSD[21]等。例如，PointPillars 是一种基于点和体素的3D 网络模型，它将输入点云划分为X-Y 坐标系上的不同网格，建立聚类列，并使用PointNet [16] 网络进行特征提取。两阶段3D目标检测模型包括CenterPoint[22]、PVRCNN[23]、PV-RCNN++[24]等。 CenterPoint Stage 1 使用关键点检测器来查找目标对象检测框的中心，并对检测框的大小、方向和速度进行回归。在第二阶段，设计了一个内存细化模块，它使用附加的点特征来细化第一阶段生成的检测帧。

2.3 对抗性攻击的定义和表示法

根据被攻击的对象是否属于某一类别，对抗性攻击可以分为有针对性的攻击和无针对性的攻击。在有针对性的攻击中，生成的对抗性示例会导致神经网络模型错误地预测给定的类别。非针对性攻击只需要对抗样本成功攻击神经网络模型造成预测错误，并且对抗样本的类别与原始样本的类别不同。

对于非定向攻击，假设3D神经网络模型为f，那么对于包含n个点的点云xRn3，其真实标签为y，网络模型为点云x，即f (x)=y。攻击者的目标是找到一个点云x\’，使得神经网络模型f做出错误的预测，即f(x\’)y。此外，生成x\’的过程必须保证原始点云x和x\’尽可能足够相似。这样的点云x\’称为对抗样本，可以表示为：

其中，D表示干扰指标，例如原始点群x与对抗点群x\’之间的距离指标。通过最小化索引D，生成的对抗点云被迫接近原始点云。 D的值越小，原始点云x和对抗点云x\’越相似，视觉上越难区分它们。

2.4 3D点云对抗攻击的评估指标

对抗性攻击的目标是生成高质量的对抗性样本。评估生成的对抗样本的指标通常包括攻击成功率、距离指数、对抗样本生成过程中受到干扰的点数、对抗样本的迁移能力等。这是详细的解释：

攻击成功率。攻击成功率衡量对抗性样本攻击网络模型的能力。攻击的成功率越高，对抗样本对网络模型造成的损害就越大。对抗性攻击总是尝试生成具有高攻击成功率的对抗性样本。

距离指示器。距离指数衡量原始点云和对抗点云之间的相似度。常用的距离指标主要有L2距离、倒角距离、Hausdorff距离等。生成的对抗样本的距离指数越小，人类视觉越好且不易感知。相反，距离指数越大，生成的对抗性样本越不易被感知，并且可能生成越明显的异常值。这不仅在视觉上产生了明显的差异，而且也便于利用统计方法进行防守。

对于一个n维向量w=(w1,w2,,wn)，其L2距离的定义可以表示为：

一般来说，倒角距离和Hausdorff距离的计算方法可以表示为：

其中x是原始点云，n是点云中的点数。 x\’ 表示对抗点云，n\’ 表示点云中的点数。

扰动点的数量。扰动点的数量衡量生成对抗性示例的生成成本，也称为扰动成本。在对抗性攻击过程中，生成对抗性样本时受到干扰的点较少，从而保证了较低的生成成本。在生成具有相同攻击能力的对抗样本时，扰动点数量越少，意味着对抗样本生成成本越低，也表明对抗样本生成算法越好。

迁移功能。对抗样本可转移性是指基于特定神经网络模型生成对抗样本并利用这些对抗样本攻击其他神经网络模型的攻击成功率。迁移能力代表对抗样本针对不同神经网络模型的攻击泛化能力。

对于3D点云，攻击成功率和敏感性是生成对抗性点云的主要指标。攻击者通常通过扰动最少数量的点来生成具有更高攻击成功率和更好灵敏度的对抗样本，同时确保对抗样本的迁移能力增强。现有的对抗性攻击方法总能取得较高的攻击成功率，但由于3D点云的结构复杂，在对抗性攻击过程中通常会使用多个点来考虑和平衡以获得高质量的对抗性评估指标。例如，距离指标和攻击成功率之间存在权衡。这是因为随着距离度量值的减小，对抗性攻击可能变得难以获得更高的攻击成功率。相反，随着距离度量值的增加，攻击成功率可能会增加。它帮助神经网络模型获得更高的攻击成功率。在多个指标之间找到适当的平衡可能是一项艰巨的任务。

2.5 攻击的3D点云数据集

用于实验对抗性攻击的常见数据集包括两个主要类别。第一类是用于3D点云分类的数据集，例如ModelNet40[25]、ShapeNet Part[26]和ScanObjectNN[27]。 3D网络模型的分类。其中，数据集ModelNet40和ShapeNet通过对合成物体的采样获得点云数据。这些点云分布均匀且不受噪声污染。 ScanObjectNN 是在真实场景中使用LIDAR 收集的对象的点云。数据真实且相对复杂。第二类是用于3D点云目标识别的数据集，例如KITTI [28]、NuScenes [29]和Waymo [30]。这些数据集是在现实场景中使用激光雷达收集的大型点云。采集环境主要在城市地区，数据量大、环境复杂。表1 显示了每个数据集的类型和特征。

表13. 用于攻击的维度点云数据集

3. 数字域对抗攻击

目前，对抗样本的研究主要集中在图像领域，但近年来，随着点云等3D数据应用的普及，3D对抗样本也引起了人们的关注。在3D领域，数字领域的对抗性攻击是主要研究方向。图2 显示了数字域中3D 点云对抗攻击的示例。这通过将原始点云数据中的特定点（蓝色点）扰动到新位置（棕色点）来完成冲突。目前，一些主流的3D点云对抗攻击方法都是从2D图像对抗攻击方法延伸而来的。由于3D点云数据与2D图像之间存在明显差异，将基于图像的对抗攻击技术扩展到3D点云一直面临挑战。此外，一些3D对抗攻击技术是针对点云数据设计的，更适合点云和3D网络模型的特点。数字领域的对抗性攻击通常针对3D 点云分类模型，并对数据集ModelNet40 [25]、ShapeNet Part [26] 和ScanObjectNN [27] 进行性能评估。本节总结并分析了数字领域常见的3D点云对抗攻击技术，并将这些技术大致分为以下几类： （1）基于梯度信息的对抗攻击（2）基于优化技术的对抗攻击最小生成成本对抗攻击，（4）基于图域的对抗攻击，（5）其他类型的对手目标攻击。下面提供了每类3D 点云对抗攻击技术的描述和实现细节。

图2 数字领域3D点云对抗攻击示例图[12]

3.1 基于梯度信息的对抗攻击

利用梯度信息对网络模型实施对抗性攻击是现有技术的主要实现方法。快速梯度符号方法（FGSM）攻击是Goodfellow 等人提出的一种图像对抗攻击方法[31]。该方法可以通过沿着对抗性损失函数的梯度方向更新来快速生成对抗性样本。对抗性攻击的典型方法。快速梯度正弦攻击可表示为：

其中，x表示标签类别为y的原始样本，x\’是生成的对抗样本。 Sign是符号函数，是扰动大小，J(,x,y)是对抗性损失函数，表示神经网络模型的参数。快速梯度签名是一种典型的一步攻击方法，在梯度方向上反复更新对抗性损失函数的方法称为IFGSM（迭代快速梯度签名方法）。

基于快速梯度符号的思想，研究人员将其扩展到3D点云对抗攻击，并取得了优异的应用效果。例如，Liu等人[10]将快速梯度代码扩展到3D点云，并限制不同维度的扰动大小，以提高对抗性样本的不可感知性。然后，利用3D点云分类模型验证生成的对抗样本的性能，并利用防御算法测试对抗样本的攻击性能。 Yang等人[32]开发了一种灵活的3D点云扰动方案，总共包括三种攻击方法。主要攻击方法是逐点梯度攻击方法，通过对每个点的微小扰动生成对抗性点云，获得较高的成功率。然而，由于每个点的扰动增加，攻击变得困难。实际实施起来极其困难。此外，在攻击过程中使用倒角距离作为约束可以改善生成的对抗样本的几何特性。

投影梯度下降（PGD）[33]方法是2D图像上最流行的攻击方法，研究人员已将该方法扩展到3D点云的对抗性攻击领域。迭代快速梯度表示法(IFGSM) 也通常被认为是一种投影梯度下降方法。 Liu 等人[34]研究了两种类型的攻击。一种是涉及点分布不可感知的分布攻击，另一种是涉及使点云形状变形的形状攻击。分布式攻击也是一种投影梯度下降方法，它使用豪斯多夫距离作为距离约束来生成对抗性样本。 Ma等人[35]发现统计异常值去除（SOR）防御算法和正则化项可以同时改进对抗性样本和处理过的对抗性样本的分类器决策，而不会产生明显的异常值进行调整以使其更接近边界。由于统计异常值去除方法引入了不可微的优化问题，Ma等人[35]通过引入统计异常值去除方法的线性近似来计算联合梯度，从而非常成功地克服了这个问题。这种对抗性攻击方法在统计异常值去除和防御算法的多重评估方面取得了当时最好的结果。

梯度信息用于计算点云中每个点对3D网络模型预测结果的重要性，建立点云的显着性图。显着图也是实现3D对抗攻击的重要工具，更重要的是代表了模型的预测结果。这些突出点也称为关键点。 Cheng等人[36]利用梯度信息计算点云的主导点和主导子集并构建点云显着图。在该方法中，每个点都被分配一个分数，反映其对模型识别损失的贡献，这些临界值清楚地描述了哪些点对于模型识别很重要。此外，具有高显着性值的点的组合成为重要的子集。 Cheng等人[36]基于显着图实现了关键点删除和关键子集删除两种攻击方法，为点云反击提供了重要思路。由于点删除操作是不可微的，因此我们通过将要删除的点移动到点云的质心来近似点删除操作。

3.2 基于优化方法的对抗攻击

将对抗样本生成视为优化问题，通过设计目标函数并使用扰动约束，我们可以找到最小的扰动来改进对抗样本生成，从而获得更高的攻击成功率和更好的灵敏度。这种对抗性攻击技术对于3D 对抗性学习的发展来说是非常令人兴奋的。 Carlini和Wagner[37]在图像对抗攻击中提出了一种基于优化的对抗攻击方法CW。该方法通过优化对抗性损失来使用不同的距离约束，例如L0范数约束、L1范数约束和L范数约束。敌对的例子。 Xiang等人[38]首先对针对3D点云的对抗性攻击进行了广泛的研究，并将CW攻击技术扩展到3D点云对抗性攻击。作者考虑了四种不同的攻击方法：点扰动、反对点添加、点云添加和对象添加，并获得了总共六种不同的点云距离、点云属性和扰动程度的度量。这种对抗性攻击方法在没有任何防御措施的情况下，在PointNet上的多次测试中取得了97%或100%的成功率。这项研究揭示了深度神经网络在3D点云领域的弱点，并为后续研究提供了基线。

Wen等人[39]认为，由于人类对3D形状和2D图形的感知存在差异，在直接增强图像对抗攻击中使用常规术语来限制扰动大小的方法是无法识别的。因此，他设计了一种从几何感知角度表征点云相似性的局部曲率一致性测度，并提出了基于几何感知的攻击方法GeoA3。该方法生成的对抗点云具有良好的表面几何特性。被人类视觉所识别。此外，我们进一步设计了Geo+A3，使得生成的对抗点云能够抵抗常见的防御算法。 Tsai等人[40]首次将点云对抗攻击应用于现实世界。他们设计了k-NearestNeighbor (kNN) 距离度量来评估生成的对抗样本的表面平滑度。将这种设计引入目标函数可以减少异常值的存在，从而绕过点去除防御算法并促进表面重建。实验证明，3D打印曲面获得的对抗物体仍然具有良好的对抗性能。 Cheng等人[11]使用倒角距离和Hausdorff距离来限制对抗点云的生成，并应用CW算法扰动少量点，从而获得很高的攻击成功率，并且可以产生难以察觉的损失。对抗性点云。

3.3 具有最小生成成本的对抗性攻击

在很多情况下，对抗性攻击方法可以有效地攻击神经网络模型，获得较高的攻击成功率，并在相应的损失约束下提高对抗性样本的不可感知性。然而，大多数对抗性攻击方法没有考虑生成对抗性样本的成本，而是关注攻击的成功率和敏感性。因此，研究人员对如何以最小的生成成本生成具有更高攻击成功率和更低可感知性的对抗样本感兴趣。例如，Kim等人[41]提出了一种统一的对抗点云生成公式，该公式应用两种不同的攻击策略，包括扰动点攻击和对抗点增加攻击。该方法考虑了对抗性样本的不可感知性，通过攻击3D 点云分类模型，同时最大限度地减少点操作来生成对抗性样本。为了保持最小的发电成本，该方法增加了对抗性损失中操作点数量的限制。同时，使用倒角距离和豪斯多夫距离作为难以察觉的约束，以促进对抗样本与原始样本之间的相似性。该方法验证了最小成本对抗攻击方法对合成数据和真实数据的有效性。

Arya 等人[42]通过限制扰动点的数量和扰动程度来控制生成对抗性示例的成本。然而，这种限制使得找到最优解变得更加困难，因此他们提出了一种学习率调度算法，该算法可以避免陷入局部最大值，并允许学习率随着迭代次数的增加而降低。这种变步长攻击需要少量的成功迭代，并且具有快速完成无法检测的攻击的能力。赵等人[43]提出的微移攻击放宽了对扰动程度的限制，探索了无限个扰动点的干扰能力。该方法对于修改整个输入点云中的多个点或单个点并生成目标和非目标对抗点云是有效的。作者提出了基于梯度和基于决策的两种对抗性攻击技术，并证明了它们在白盒和灰盒场景中的有效性。同时，该方法具有高度可移植性，有可能应用于黑盒场景。 Yang等人[32]使用硬边界约束来控制添加点的数量，而倒角距离控制添加点与原始点云之间的距离，我们提出了一种对抗性攻击方法来添加。该方法在每次迭代时保持原始点云不变，并允许添加的点在原始点云的表面上移动。

Tan等人[44]提出了两种基于神经网络可解释性理论的对抗性攻击方法：单点攻击和临界点移动攻击。作者使用神经网络可解释性技术为3D点云构建显着性图，对显着性图进行排序，并选择贡献值最高的前n个点作为重要点。在单点攻击中，选择贡献最大的点，通过迭代优化移动点来实现攻击。临界点移动攻击一开始攻击点数为1，根据贡献值选择贡献值较高的点来增加攻击点数，直到攻击成功或整体攻击失败为止。放。虽然该方法通过干扰最少数量的点来完成对网络模型的对抗性攻击，但生成的对抗性点云包含明显的异常点。 Shi等人提出的形状先验引导攻击（SPGA）是一种结合形状先验引导和稀疏扰动以利用稀疏性提供的加速潜力的攻击方法。由于优化算法FOFA用于优化此类任务，因此该方法在生成成本和生成时间上都具有显着的优势。

然而，现有的对抗性攻击方法总是通过扰动整个点云来获取3D对抗性样本，从而忽略了对抗性样本在物理世界中的可实现性。为此，Zheng等人[11]提出了一种显着区域对抗攻击方法来生成对抗点云。这是第一个在3D点云领域实现的基于局部区域的对抗性攻击方法。该方法基于博弈论的思想，提取点云的重要区域，衡量不同区域对模型预测结果的重要性，实现模型脆弱性分析。然后，我们提出了一种基于优化的梯度攻击算法来对显着区域实施对抗性攻击。实验结果表明，该方法在攻击点云同一区域时，可以通过较少的扰动点获得较高的攻击成功率和较好的灵敏度。此外，由于这是针对局部区域的对抗性攻击，因此该方法生成的对抗性点云在物理世界中具有一定的可达性。

3.4 基于图域的对抗攻击

目前，大多数3D点云对抗攻击方法生成的对抗点云迁移能力较弱，易于防御。多项研究表明，在频域完成对抗性攻击可以提高对抗性样本的迁移能力，使其对抗对抗性防御算法更加鲁棒。基于频域的对抗攻击逐渐引起了研究人员的关注，为3D对抗攻击提供了新的视角。

Liu等人[46]提出了一种新的频域3D点云对抗攻击方法，主要关注低频分量来生成对抗样本。具体来说，该方法通过将整个点云的对抗性损失与其低频分量相结合来优化点云的低频分量。实验结果证明，基于低频分量生成的对抗点云在不同对抗防御算法下具有更强的迁移能力和更好的鲁棒性。以这种方式生成的对抗点云不会产生明显的异常值，但它们的几何形状很容易扭曲。 Liu等人[47]认为现有的对抗性攻击方法逐点扰乱3D点云的数据空间，并且可能忽略几何特征。因此，提出一种基于图域的3D点云扰动攻击方法。该方法使用图傅立叶变换（GFT）将点坐标自适应地变换到谱域，并使用可学习的图滤波器在谱域中执行扰动攻击。考虑到低频分量主要影响三维物体的基本形状，该方法进一步引入低频约束来限制难以察觉的高频分量的扰动。生成的对抗样本很好地保留了其几何特征，并且具有较高的攻击力。成功率。 Hu等人[12]提出了一种新的点云攻击范式，即图。

谱域攻击(Graph Spectral Domain Attacks, GSDA)，通过扰动图谱域中对应于不同几何结构的变换系数来生成对抗样本，如图3所示。该方法首先通过图傅里叶变换自适应地将点的坐标变换到图谱域，然后提出了一种基于能量约束损失函数的可学习的图傅里叶变换系数的扰动方法。最后通过图傅里叶逆变换(Inverse Graph Fourier Transform, IGFT)将扰动后的频谱表示变换回数据域生成对抗点云。这种方法有效地证明了对抗点云的不可感知性和攻击性能以及对三网络模型的鲁棒性。

图 3  图谱域的3维点云对抗攻击[12]

Tao等人[48]使用了一种更有挑战性的对抗攻击方式，即基于决策的黑盒攻击，这种攻击方式只允许攻击者查询神经网络模型并返回预测标签。为此，作者提出了一种新的对抗攻击方式，即3维硬标签攻击(3DHacker)，该方法在只有类标签知识的情况下使用决策边界算法来生成对抗样本。为了构建类感知模型决策边界，3DHacker首先在谱域中随机融合两个不同类别的点云，生成具有高度不可感知性的中间样本，然后通过二分搜索将其投影到决策边界上。为了限制最终扰动的大小，3DHacker进一步引入了一种迭代优化策略，将中间样本沿着决策边界移动，以产生具有最小扰动的对抗点云。该方法是首次在3维点云上实现基于决策的黑盒攻击，为后续的研究提供了思路。

3.5   其他类型的对抗攻击

通常，在3维点云的数字域对抗攻击方法中常用的攻击方式是在原始点云上通过扰动点[38]、增加独立的点或者聚类以及物体[38]、删除点[36]。除了以上讨论的对抗攻击方法，还包括一些其他类型的攻击方法。例如Huang等人[49]认为3维点云是一种高度结构化的数据，难以使用简单的约束来限制扰动。因此，该方法(图1中的SI-Adv方法)通过坐标系转换将原始点云变换到新的坐标系下，攻击时在切平面内限制点的移动。此外，该方法会在新的坐标系下使用梯度来寻找最佳的攻击方向并构建一个点云的显著性图。Liu等人[50]从两个角度研究了3维点云对抗攻击，提出了一种难以察觉的迁移攻击(Imperceptible Transfer Attack, ITA)。首先是不可感知性角度，对抗扰动方式是约束被扰动的点沿着其邻域表面的法向量移动，以保持原始点云的几何属性。其次是对抗迁移角度，该迁移攻击方法引入了一个可学习的变换模型，并将其集成到白盒目标模型中，以对抗学习的方式生成最有攻击性的对抗样本，这使得当对抗样本迁移到未知黑盒模型时仍能起到对抗作用。

Hamdi等人[51]针对对抗样本在网络模型之间的迁移能力不足的问题，提出了一种数据驱动的3维对抗攻击方法。为此，作者开发了一种新的点云攻击方法AdvPC，该方法引入了一种数据对抗损失，生成的对抗样本保持了高度迁移能力。Zhou等人[13]提出了基于生成模型的3维点云对抗攻击方法，首先提取输入点云的层次特征，然后使用标签编码器将指定的标签信息合并到多个中间特征中。最后，将编码后的特征输入坐标重构解码器生成目标对抗样本。该方法不仅运行速度快而且生成的对抗样本具有高攻击成功率，同时能够避免产生明显的离群点。Tang等人[52]提出了一种3维点云法线攻击方法，该方法设计了一个形变引导模块将扰动限制在法线方向，这样使用微小的扰动就可以使点云的形状发生改变。同时，设计了一个曲率感知模块将扰动更多地集中在曲率较大的区域，因此法线方向的扰动就可以隐藏在曲率大的区域中。实验证明该方法在成功率和执行效率方面都达到了最优结果。

4.   物理域对抗攻击

目前，在3维点云领域，数字域对抗攻击是主要的研究方向，对物理世界的对抗攻击研究较少。现实世界中的对抗性攻击总体上可以分为3种类型，(1)基于真实场景中扫描的点云数据实施对抗攻击；(2)真实世界中的物理可实现对抗攻击。

(1)基于真实场景中扫描的点云数据实施对抗性攻击。该类型的物理域对抗攻击主要是基于真实场景的大规模3维点云数据集，例如KITTI[28],NuScenes[29]和Waymo[30]等，聚焦于欺骗与误导3维点云目标检测模型的识别结果。例如Tu等人[53]提出了一种对抗性攻击方法，以生成不同几何形状的对抗性物体。将这些对抗性物体放置在汽车点云的顶部可以欺骗激光雷达，导致3维目标识别模型无法检测到汽车。此外，作者认为攻击者可以3D打印对抗性物体网格并将其放置在任何车辆上，使其“隐形”，而无需事先了解现场情况。这种攻击会持续导致目标车辆消失，严重阻碍自动驾驶系统的下游任务，如图4所示。同样的，Abdelfattah等人[54]针对在自动驾驶系统中使用的两种多模态感知系统：独立使用每个模态的模型和同时使用多个模态的模型，提出了一种通用的、物理上可实现的对抗性攻击，并研究和对比了它们各自的攻击漏洞。该方法使用一个具有特定形状和纹理的单一对抗性物体放在一辆汽车的顶部，使得这辆汽车无法被检测识别。在KITTI基准上进行评估时，所提出的攻击方法可以使汽车在超过50%的时间内成功地逃避目标识别模型的检测。

图 4  道路场景下的物理域对抗攻击[53]

(2)真实世界中的物理可实现对抗攻击。该类型的物理域对抗攻击更关注在真实世界中对抗样本的可实现性。目前真实世界的物理可实现对抗攻击总体上有两种实现方式，第一种物理可实现方式是通过数字仿真生成攻击成功率高的高质量对抗样例，然后利用3D打印技术重建现实世界中的对抗性物体。例如，Wen等人[39]首先使用基于几何感知约束的对抗攻击方法生成对抗点云，并将对抗点云转换为网格表示形式。然后利用3D打印技术打印网格物体，即可在现实世界中构建真实的对抗物体。最后，将打印出来的对抗物体重新扫描成点云，以测试对抗物体表面形状对3维网络模型的识别性能。考虑到3维物体的几何特性和物理变换的不变性，Miao 等人[55]提出了一种ε 等距攻击方法，在物理世界中生成自然且鲁棒的3维对抗样本。作者从理论上证明了高斯曲率曲率可以提供一个充分条件以保证两个表面是ε𝜀等距的，通过将高斯曲率引入正则项可以使得生成的物体更为自然。另外，为了使生成的对抗物在不同的物理变换下保持对抗性，作者进一步提出了 MaxOT 算法主动搜索危害性最大的变换，增强对抗物体对物理变换的鲁棒性。在真实世界中的对抗攻击实验表明，该攻击方法生成的对抗样本通过3D打印后物体表面光滑自然，可以被扫描仪正确扫描，保持对抗效果。

Cao等人[9]研究了面向多传感器的自动驾驶系统的安全问题，并将对抗攻击当作一种优化问题。为此，作者提出了一种新的攻击方法MSF-ADV，以生成能够误导自动驾驶系统的物理可实现的、具有对抗性的3D打印物体，如图5所示。在真实世界中使用产业级的自动驾驶系统对攻击算法进行了评估，实现了超过90%的成功率，同时具有隐身性、鲁棒性、可迁移性和物理世界可实现性。在仿真实验中，攻击算法使得车辆撞击到障碍物的概率高达到100%。Yang等人[56]针对深度学习模型实现对抗攻击，通过生成物理世界中可制造的3维物体，当激光雷达扫描到这种物体时会创建对抗点云，然后误导深度神经网络模型。为了能够在物理世界中重构对抗点云，需要在数字域生成对抗点云时建立其对应的网格表示，然后再使用3D打印技术打印这些网格物体。该对抗攻击算法在数字域和物理域都是有效的，且适用于黑盒攻击和白盒攻击。作者在室内场景和室外路边场景进行了测试，证明了对抗物体对商业自动驾驶系统的影响，尤其是路边的对抗性物体会迫使自动驾驶系统做出异常决策，包括突然刹车和不规则变道。

图 5  面向自动驾驶系统的对抗攻击[9]

第2种物理可实现方式是在现实世界中直接攻击激光雷达传感器使其失效。通过对激光雷达传感器实施攻击是真实世界中实现对抗攻击的一种重要途径。例如，对于自动驾驶中的激光雷达预测感知，Zhu等人[57]研究了一种更为简单直接的方法来实现有效的对抗攻击，该方法具有更高的灵活性和良好的隐蔽性。具体地，该方法能够在现实世界中寻找具体的攻击位置，在这些攻击位置放置任何具有反射表面的物体，例如商用无人机，能够让目标物体对激光雷达感知系统不可见，如图6所示。在真实世界中只需要使用两架商用无人机就可以轻松执行所提出的攻击，而且攻击成功率高达90%以上。该方法也是首次研究了对抗位置对激光雷达感知模型行为的影响，首次研究了如何使用具有反射表面的任意物体攻击激光雷达感知系统，以及首次在物理世界中使用商用无人机攻击激光雷达感知系统。

图 6  基于真实场景对抗位置的对抗攻击[51]

Cao等人[58]认为现有的基于激光雷达的自动驾驶系统的攻击主要目的在于降低自动驾驶目标检测模型的置信度，从而导致障碍物误检。作者研究了如何利用基于激光的欺骗技术，在传感器层面选择性地去除真实目标的激光雷达点云数据，然后将其用作自动驾驶感知的输入。作者提出了一种物理移除攻击(Physical Removal Attacks, PRA)通过攻击自动驾驶系统的激光雷达传感器，隐藏目标并欺骗自动驾驶汽车的目标探测器。该研究证明了这些关键的激光雷达信息的消除会导致自动驾驶目标识别器无法识别和定位目标物体，从而导致自动驾驶汽车做出危险的决策。Cao等人[59] 对自动驾驶汽车中基于激光雷达的感知进行了安全研究。他们将对机器学习模型的攻击视为一种优化任务，并对此任务设计了输入扰动函数和目标函数的建模方法。他们还发现了使用优化方法直接解决问题的固有局限性，并设计了一种将优化和全局采样相结合的算法，有效提高了攻击成功率。Sun等人[60]探索了基于LiDAR感知架构的一般漏洞，并发现LiDAR点云中的遮挡模式能够使自动驾驶汽车容易受到攻击。随后，他们基于已识别的漏洞构建了一个黑盒攻击，针对目标模型成功实施了基于LiDAR传感器的对抗攻击。

5.   思考与展望

在3维点云对抗攻击领域，大多数研究者重点关注数字域的对抗攻击算法的设计，目标是生成攻击成功率高和不可感知性好的对抗点云，以及提升对抗点云的迁移能力和降低其生成代价。然而，对于3维深度神经网络模型本身的脆弱性分析的工作较少，使用可解释性方法来辅助实现对抗攻击是一种有效的途径。同时，大多数的对抗攻击方法都是在数据域实现的攻击，这种方法有时难以在攻击成功率、不可感知性和迁移能力等方面取得较好的平衡，而在光谱域的攻击模式给未来数字域点云对抗攻击提供了一种新的思路。此外，数字域的对抗攻击几乎没有考虑到物理可实现性。

由于对抗样本对深度学习模型具有较大的威胁，能够严重影响自动驾驶等应用的人工智能系统的现实部署。因此，物理域的对抗攻击是一个具有重要意义且挑战巨大的研究课题。目前在物理可实现方面的研究成果较少，主要是依靠对抗攻击算法仿真生成对抗样本并使用3D打印技术在现实世界中重构对抗物体，以及直接攻击激光雷达传感器来实现。现有的对抗攻击方法使用的物理可实现手段较为单一，如何寻找更有效的物理可实现手段是未来研究的重要方向。

6.   结束语

本文总结并分析了3维点云对抗攻击的相关研究成果，包括数字域对抗攻击和物理域对抗攻击两个方面。本文将3维点云对抗攻击方法进行了分类并总结。数字域作为目前点云对抗攻击的主要研究领域，主要针对3维点云分类模型实现攻击。物理域对抗攻击则聚焦于3维点云目标识别模型，且更关注真实世界的对抗攻击的可实现性。现有的物理可实现对抗攻击方法较少且攻击手段较为单一，是未来需要重点研究的领域。通过数字域的对抗攻击研究为物理域对抗攻击的可实现性提供了理论基础。此外，本文也对数字域和物理域的对抗攻击发表了评论，为后续的研究提供了思路。

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。

注：若出现无法显示完全的情况，可 V  搜索“人工智能技术与咨询”查看完整文章
 
#以上关于三维点云目标识别对抗攻击研究综述的相关内容来源网络仅供参考，相关信息请以官方公告为准！