Real-IAD D³: A Real-World 2D/Pseudo-3D/3D Dataset for Industrial Anomaly
Detection
Paper
Github

摘要

随着工业异常检测（Industrial Anomaly Detection, IAD）复杂程度的不断提升，多模态检测方法已成为机器视觉领域的研究焦点。然而，专门为工业异常检测量身定制的多模态数据集仍然十分有限。MVTec 3D 等开创性数据集通过整合 RGB 与 3D 数据，为多模态工业异常检测奠定了重要基础，但受规模和分辨率所限，其在衔接真实工业环境方面仍面临挑战。为解决这些问题，本文提出了 Real-IAD D³—— 一个高精度多模态数据集。该数据集除包含高分辨率 RGB 图像和微米级 3D 点云外，还创新性地引入了通过光度立体视觉（photometric stereo）生成的伪 3D 模态。Real-IAD D³ 涵盖 20 个类别，包含更细微的缺陷、更多样的异常类型以及更大的数据规模，为多模态工业异常检测提供了具有挑战性的基准。此外，本文还提出了一种有效的检测方法，该方法整合 RGB、点云和伪 3D 深度信息，充分利用各模态的互补优势，从而提升检测性能。实验结果表明，这些模态对提高检测鲁棒性和整体工业异常检测性能具有重要作用。该数据集和相关代码已面向科研用途公开，可通过以下链接获取：https://realiad4ad.github.io/Real-IAD D3。

1. 引言

在工业生产过程中，异常检测对于保障产品质量和可靠性至关重要。计算机视觉与工业人工智能技术的进步，大幅提升了异常识别与分类的精度和效率。工业制造是社会发展的重要支柱，因此严格的质量控制不可或缺 [6]。在零部件生产过程中产生的缺陷，会严重影响产品质量和使用寿命，尤其在制药、食品生产、电池制造等敏感行业，这类缺陷会给消费者带来重大安全隐患 [11, 12]。

为降低这些风险，工业异常检测已成为各行业保障产品质量和生产运营安全的关键工具。MVTec AD [2]、VisA [35]、Real-IAD [28] 等数据集的出现，是异常检测领域的重要里程碑，它们为无监督学习技术的发展提供了支撑 —— 无监督学习技术可对正常样本的分布进行建模，并将离群样本归类为异常。然而，在工业场景中，基于 2D 图像的异常检测往往存在不足，尤其是对于划痕、凹陷等对颜色和纹理变化高度敏感的缺陷，检测效果欠佳。

鉴于这些挑战，研究人员开发了多个整合 2D 和 3D 点云数据的多模态数据集，以更有效地捕捉真实工业环境的复杂性。例如，MVTec 3D-AD [4] 专为无监督 3D 异常检测与定位设计，可针对 10 个物体类别中的划痕、凹陷、污染等几何异常进行检测。另一项值得关注的数据集 Eyecandies [5]，生成了 10 种类糖果物体的合成图像，并提供精确的 2D、深度和法向图标注，借助合成数据实现了自动化且无偏差的标注。

随着多模态数据集的不断扩展，工业异常检测领域涌现出多种新方法，这些方法借助 2D 和 3D 数据的协同优势，提升了复杂工业环境下检测的精度和鲁棒性。例如，形状引导双记忆学习（Shape-Guided Dual-Memory Learning）通过学习 3D 结构和 2D 视觉特征，可检测细微的表面不规则和体积异常 [9]；对称师生网络（symmetric student-teacher networks）利用师生模型检测与所学正常分布的偏差，实现了更高效的无监督检测 [23]。混合方法进一步整合 2D 和点云数据，同时捕捉表面和结构异常，提供了更具鲁棒性的检测机制 [30]。此外，工业异常检测全召回（Total Recall in Industrial Anomaly Detection）技术通过在记忆网络中存储正常模式，扩大了正常数据分布范围，从而提高异常检测的召回率 [22]；“欺骗深度”（Cheating Depth）技术将合成深度图与 2D 和点云数据相结合，提升了对细微表面异常的检测能力 [33]。

尽管取得了这些进展，现有数据集仍存在显著局限性，阻碍了其在工业异常检测中的实际应用。最突出的问题是，当前数据集的点云分辨率通常不足以捕捉精细细节，且材料类型和缺陷类别的多样性有限，这限制了模型在真实场景中的泛化能力。因此，在这些数据集上报告的高异常检测指标，可能无法准确反映模型在条件复杂多变的实际工业环境中的性能。

为解决这些局限性，本文提出了 Real-IAD D³—— 一个规模更大、精度更高的多模态数据集。该数据集除包含高分辨率 RGB 图像和微米级 3D 点云外，还创新性地引入了通过光度立体视觉生成的伪 3D 模态。Real-IAD D³ 涵盖 20 个物体类别，每个类别包含 4-6 种不同的缺陷类型，数据集共 8450 个样本，点云数据分辨率最高可达 0.002 毫米。具体而言，该数据集包含 5000 个正常样本和 3450 个异常样本，每个样本均同步包含 RGB、点云和伪 3D 图像数据。所设计的异常样本高度模拟真实工业场景，对单模态和多模态检测应用均具有挑战性和实用性。数据集规模和多样性的显著提升，为异常检测算法带来了更大挑战，进而推动算法鲁棒性和精度的提升。

Real-IAD D³ 的一个显著特点是其基于光度立体视觉的伪 3D 数据，该数据能够捕捉受材料属性影响的细微缺陷特征，从而解决了现有数据集的局限性。大量实验表明，D³ 的多模态数据大幅提升了工业异常检测的标准，为多模态异常检测提供了全面且具有挑战性的基准。此外，本文还为 D³ 异常检测提出了一个基准模型，为该领域未来的研究奠定了基础性参考。

总体而言，本文的贡献可总结如下：

提出了 Real-IAD D³—— 一个高精度、严格对齐的多模态数据集。该数据集实现了 RGB 与 3D 点云数据的同步，并包含经过精心设计的、具有挑战性的缺陷样本。数据集涵盖 20 个不同的工业类别，共 8450 个样本，在规模和多样性上为多模态工业异常检测树立了新基准。
在 Real-IAD D³ 中引入了基于光度立体视觉的伪 3D 模态。该模态提供相对深度信息，有助于提升像素级缺陷检测性能，尤其对划痕、微小凹陷等细微表面细节的检测效果显著。
提出了 D³M 基准（D³ Benchmark）。该基准对 2D、伪 3D 和 3D 模态进行对齐，全面表征工业零部件特征，验证了多模态融合在提升工业异常检测精度和可靠性方面的优势。

2. 相关工作

2.1 多模态 3D 异常检测方法

近年来，2D 异常检测（2D AD）领域取得了显著进展，出现了多种先进方法 [3, 6, 10-12, 17, 20, 22-25, 27, 29]，包括图像重建、特征蒸馏和少样本学习等。在这一基础上，MVTec 3D-AD [2] 推动了 3D 异常检测（3D-AD）领域的研究兴趣。尽管 3D 异常检测前景广阔，但目前仍处于发展阶段 [2, 7, 30, 35]。在 3D 异常检测中，深度数据被广泛用于减少背景噪声，并对 RGB 数据进行补充。Bergmann 等人 [1] 采用师生模型；Horwitz 等人 [15] 在 K 近邻（KNN）框架中整合 3D 描述符；AST [23] 将基于深度的背景去除与 2D 技术相结合；“欺骗深度”[33] 通过模拟深度特征来克服 RGB 数据的局限性；形状引导双记忆学习 [9] 引入形状信息以实现更精准的定位；PatchCore [21] 通过特征匹配在多模态异常检测中表现出色；M3DM [30] 强调 RGB 与点云的融合，证明了多模态方法在复杂场景下提升检测性能的有效性。

2.2 3D 异常检测数据集

自 2007 年以来，2D 异常检测（2D-AD）领域在众多数据集的推动下取得了长足发展，这些数据集为图像重建 [4, 13, 14, 32, 33]、特征蒸馏 [6, 12, 26]、少样本异常检测 [8, 16, 18, 31, 34] 等多种方法的研发提供了支持。相比之下，3D 异常检测（3D-AD）领域尚处于起步阶段，仅有少数基础性数据集作为支撑。其中，MVTec 3D-AD [4] 是无监督 3D 异常检测的基准数据集，提供高分辨率深度扫描数据和 10 个物体类别的精确缺陷标注；Eyecandies [5] 则是一个合成的 photo-realistic（照片级真实感）数据集，包含 RGB、深度和法向图，可在受控光照条件下实现自动化、无偏差的缺陷标注；Real3D-AD [19] 进一步提供了一个大规模、高精度的数据集，专门用于基于点云数据的工业异常检测。尽管这些数据集做出了重要贡献，但现有 3D 数据集在工业材料和缺陷类型的覆盖上仍存在不足，凸显了开发更多样、更全面的数据集以推动 3D 异常检测研究的迫切需求。

3. Real-IAD D³ 数据集描述

Real-IAD D³ 数据集是一个大规模多模态工业异常检测数据集，涵盖 20 个不同的产品类别和 69 个缺陷组，每个缺陷组平均包含 50 个样本，每种材料对应 3.45 种缺陷。

该数据集共包含 8450 个样本，其中正常样本 5000 个，异常样本 3450 个。每个样本均包含同步的 2D 数据、伪 3D 光度立体视觉融合数据、TIFF 格式数据和 PLY 格式数据。数据集涵盖的缺陷区域占比范围广泛，从 0.46% 到 6.39% 不等。多光源采集装置支持四种点云分辨率，最高分辨率可达 1620 万个点（5328×3040），精度达 0.002 毫米。缺陷点占比范围为 0.33% 至 7.34%。

3.1 数据采集与构建方式

数据采集与标注
本文构建的数据集包含 20 种工业产品，涵盖金属、塑料、陶瓷、复合材料等多种材料类型。这些物体经过精心挑选，以覆盖广泛的工业场景。

针对每个物体，研究人员手动引入了多种缺陷，如划痕、凹陷、裂纹、缺失部件和变形等。这种缺陷多样性确保了异常检测环境的真实性和挑战性。随后，对正常样本和缺陷样本均进行多模态数据采集，以保证不同缺陷类型的代表性均衡。
采集系统构建
数据采集系统是一个一体化系统，能够同步采集 2D 数据、伪 3D 表面法向数据和 3D 点云数据。如图 2 所示，该采集系统采用统一的装置设计，可同时采集 2D、伪 3D 和 3D 数据，确保各模态间的精确对齐和无缝协同。系统采用分辨率为 3648×5472 像素的高分辨率相机采集细节丰富的 RGB 图像；对于 3D 数据采集，如图 2 © 所示，采用四向结构光系统获取高精度 3D 点云，从而实现对表面精细细节的检测；同时，通过光度立体视觉技术，利用四个方向的光源合成表面法向，生成伪 3D 深度信息。这种一体化系统能够实现全面的多模态数据采集，提升缺陷检测的精度和可靠性。

（图 2：(a) 20 个产品类别的材料准备与缺陷制造过程；(b) 图像采集装置 —— 单相机配合四区域光源（用于通过光度立体视觉采集伪 3D 图像）和四向 DLP 投影系统（用于采集 3D 图像）；© 像素级精度的数据采集、标注与清洗过程；(d) 多模态成像展示，包括 2D、伪 3D 和 3D 数据）

光度立体视觉过程的原理是：在不同光照条件下拍摄物体图像，进而计算表面法向。如图 2 (b) 所示，系统采用四个不同的光照方向，每个方向下拍摄的图像具有不同的阴影效果。然后，利用这些图像的亮度值，通过以下光度立体视觉方程计算每个像素的表面法向 n (x, y)：
I(x,y)=L⋅n(x,y)

其中，I (x, y) 是四个图像中对应像素 (x, y) 的亮度值向量；L 是光照方向矩阵，每一行代表一个光源的方向；n (x, y) 是像素 (x, y) 处的表面法向向量。已知亮度值 I (x, y) 和光照方向矩阵 L，可通过求解以下方程得到表面法向 n (x, y)：
n(x,y)=(L
⊤
L)
−1
L
⊤
I(x,y)

3.2 与主流 3D 数据集的对比

表 1 从多个关键参数维度，将 Real-IAD D³ 数据集与 MVTec 3D-AD、Real3D-AD 两个基准数据集进行了对比。Real-IAD D³ 覆盖 20 个产品类别、69 种缺陷类型，共 8450 个样本，在规模上远超 MVTec 3D-AD（10 个产品类别、33 种缺陷）和 Real3D-AD（12 个产品类别、40 种缺陷）。Real-IAD D³ 的显著优势在于其 0.002 毫米的超高点精度，远超 MVTec 3D-AD（0.11 毫米）和 Real3D-AD（0.011 毫米 - 0.015 毫米）的分辨率和精度。此外，Real-IAD D³ 支持多种 3D 格式（ASC、PLY、STL、OBJ、IGES、TIFF），并融入光度立体视觉技术以增强深度信息捕捉能力，从而获取表面精细细节。与 MVTec 3D-AD 和 Real3D-AD 不同，Real-IAD D³ 在同一平台上采集 RGB 和 3D 数据，无需额外校准即可实现自然对齐，且支持多向 DLP 投影，是工业异常检测领域极具价值的数据集。
在这里插入图片描述

（表 1：所提 Real-IAD D³ 数据集与现有 3D+2D（RGB）数据集（包括 MVTec-3D AD 和 Real3D AD）在各参数维度的对比）

数据集 产品类别数 缺陷类别数 样本数量 3D 点云分辨率 点精度 3D 格式 是否包含光度立体视觉 多模态是否同步 是否包含多向 DLP
MVTec 3D-AD 10 33 4147 0.37 毫米 0.11 毫米 TIFF × × ×
Real3D-AD 12 40 1254 0.04 毫米 0.011 毫米 - 0.015 毫米 ASC、PLY、STL、OBJ、IGES × × ×
Real-IAD D³（本文所提） 20 69 8450 0.01 毫米 0.002 毫米 ASC、PLY、STL、OBJ、IGES、TIFF ✓ ✓ ✓

（图 3：Real-IAD D³ 数据集 20 种材料的示例。每组图像代表一种特定材料，第一列展示无异常图像，后续三列分别以 2D（RGB 图像）、伪 3D（光度立体视觉生成的伪 3D 深度）和 3D 点云格式展示每种材料的异常样本）

3.3 Real-IAD D³ 可视化

展示Real-IAD D³ 数据集包含 20 个不同的产品类别，涵盖机械零件、电子设备、连接器、传感器等多种工业部件。这种类别多样性使得异常检测方法能够在不同缺陷类型下得到全面评估。每个类别均包含三种模态数据：RGB 图像、3D 点云和基于光度立体视觉的伪 3D 表面法向，可全面表征物体特征。如图 3 所示，这种多模态方法（包括原始图像、带掩码的 2D 图像、带掩码的伪 3D 图像和 3D 点云）充分证明了融合伪 3D 和 3D 模态进行全面缺陷检测的必要性。在深色背景下，由于深度和细节信息有限，划痕、凹陷等细微缺陷在 2D 图像中难以识别；而伪 3D 图像可清晰呈现这些表面缺陷（如 “直流电源连接器” 和 “电源接口” 上的缺陷），3D 点云则能有效捕捉较大的几何异常（如 “乐高螺旋桨” 和 “保险丝座” 上的异常）。这一结果体现了伪 3D 和 3D 数据的互补优势，确保能够准确识别细微缺陷与复杂缺陷。（图 4：Real-IAD D³ 数据集与 MVTec 3D-AD、Real3D-AD 数据集的统计对比，展示了样本数量、各产品的正常 / 异常样本分布、缺陷面积占比及缺陷分布模式）4. D³ 异常检测基准为应对 2D 和 3D 异常检测面临的挑战，本文提出了一种名为 D³-Memory（简称 D³M）的新型基准与异常检测框架。该框架整合了 2D（RGB）、点云和伪 3D 光度立体视觉数据，能有效利用各模态的优势，提升对表面异常和结构异常的检测能力，尤其针对传统 2D 或 3D 数据单独难以捕捉的异常类型效果显著。多模态特征提取本文采用 DINO（ViTb/8）[30] 提取关键视觉特征（纹理、颜色、边缘、表面法向），并通过 PointMAE 提取 3D 点云数据中的几何特征与深度特征。为加强 2D 数据与光度立体视觉数据的融合，本文在特征融合策略中引入了通道 - 空间交换（Channel-Spatial Swapping, CSS）模块。该模块将 RGB 特征图（(X_{2D})）与光度立体视觉特征图（(X_{PS})）中 10% 的通道信息和空间信息进行交换，实现视觉特征与几何特征的深度交互。假设特征图(X_{2D})和(X_{PS})的维度均为(\mathbb{R}^{C ×H ×W})，则交换过程定义如下：
(X_{2D}^{swap}=(1-\alpha )× X_{2D}+\alpha × X_{PS}^{c\leftrightarrows})
(X_{PS}^{swap}=(1-\alpha )× X_{PS}+\alpha × X_{2D}^{c\leftrightarrows})
(X^{s}=Block_{k × k}(X) \circ \alpha_{swap } \subseteq X^{c \leftrightarrow s})
其中，(\alpha=0.1)为交换比例，(\circ)表示复合运算，(X^{c \leftrightarrow s})代表通道 - 空间交换操作，(X^{s})是(X{c \leftrightarrow s})的子集，描述基于核的空间交换 —— 将输入划分为(k ×k)大小的块，并以(\alpha)比例在(\frac{H}{k} ×\frac{W}{k})粒度上进行特征交换。通过该过程得到的增强特征(X_{2D}^{swap })和(X_{PS}^{swap })，会融入对方 10% 的特征属性，从而为异常检测构建更具鲁棒性的伪 3D 表征。

无监督对比特征融合为充分利用伪 3D 与 3D 模态的互补性，本文借鉴 M3DM [30] 的思路设计了融合方法。通过无监督对比学习，对（融入伪 3D 交换信息的）2D 数据与 3D 数据的特征进行对齐，在保留各模态特有细节的同时，学习跨模态的共享表征。假设样本i的交换后 2D 特征图(X_{2D}^{(i, j)})和 3D 特征图(X_{3D}^{(i, j)})中包含块j，则通过以下对比损失函数实现特征融合：
(L_{con }=\frac{\sum_{j=1}^{N_{p}} h_{2 D}^{(i, j)} \cdot h_{3 D}^{(i, j)}}{\sum_{k=1}^{N_{b}} \sum_{j=1}^{N_{p}} h_{2 D}^{(k, j)} \cdot h_{3 D}^{(k, j)}})
其中，(h_{2D}^{(i, j)})和(h_{3D}^{(i, j)})分别是样本i中块j的 2D 特征向量和 3D 特征向量经过多层感知机（MLP）投影后的结果。融合后得到的(D^3)表征(M_D)，可增强跨模态对应块之间的关联性，充分发挥各模态的优势。
决策层融合借鉴 M3DM [30] 的方法，本文将（交换后的）2D 特征、（交换后的）伪 3D 特征与 3D 特征进行融合，构建三个记忆库：(M_{2D})、(M_{PS})和融合记忆库(M_D)。其中，(M_{2D})和(M_{PS})分别存储经过通道 - 空间交换后的 2D 模态和伪 3D 模态特征，(M_D)则存储通过对比学习融合（交换后 2D 与 3D）特征得到的表征。测试样本的最终异常分数a和分割图S，通过单类支持向量机（one-class SVM）分类器，将测试样本特征与这些记忆库中的正常样本特征进行对比后生成，具体公式如下：
(a=D_{a}(\phi (M_{2D},f_{2D}),\phi (M_{PS},f_{PS}),\psi (M_{D^{3}},f_{D{3}})))
(S=D_{s}\left(\psi\left(M_{2 D}, f_{2 D}\right), \psi\left(M_{P S}, f_{P S}\right), \psi\left(M_{D^{3}}, f_{D^{3}}\right)\right))
其中，(\phi(\cdot))和(\psi(\cdot))分别表示异常评分函数和分割函数。

5. 实验

5.1 Real-IAD D³ 上的异常检测实验结果

（表 2）验证了本文提出的(D^3)多模态异常检测方法在 Real-IAD 数据集上的有效性。通过整合 2D（RGB）、伪 3D 和 3D 模态，该方法的性能持续优于单模态（2D 或 3D）和双模态（2D+3D）方法，充分证明了新增模态信息的价值。（图 6：在 2D+3D 基础上添加伪 3D 的效果可视化，展示了分割图的提升）单模态方法存在明显局限性：2D 方法难以检测划痕、凹陷等与深度相关的缺陷，而 3D 方法则缺乏表面纹理细节。2D+3D 的组合虽能提供互补信息，但仍无法捕捉细微的表面不规则缺陷。本文提出的 D³M 方法，通过伪 3D 光度立体视觉数据捕捉表面朝向与深度信息，显著提升了对基于纹理的异常的检测能力。图 6 对不同模态组合的效果进行了全面的视觉对比，结果显示：相较于仅使用 2D 和 3D 数据的 M3DM 基准方法，本文方法在像素级异常检测性能上有显著提升。通过融入伪 3D 信息，该方法能捕捉更丰富的表面纹理和更清晰的深度细节，从而更精准地识别细微缺陷 —— 这些缺陷在其他方法中很容易被遗漏。这一提升充分体现了在多模态框架中整合伪 3D 特征的价值，为工业场景中复杂、细粒度异常的检测提供了更鲁棒的解决方案。（表 2：不同多模态异常检测方法在 Real-IAD 数据集上的性能。表格展示了三种设置下的结果：单模态（RGB 或点云）、2D+3D 双模态、D³ 三模态。评估指标包括图像级 AUROC（I-AUROC）和像素级 AUROC（P-AUROC），数值越高表示性能越好。本文方法在各设置下均表现最佳，尤其在 D³ 设置中优势显著）

6. 结论

综上所述，本文提出了 Real-IAD D³—— 一个高精度、大规模的多模态数据集。该数据集整合了 RGB、3D 点云和伪 3D 数据，旨在解决现有工业异常检测（IAD）数据集存在的局限性。Real-IAD D³ 涵盖 20 个产品类别，包含多种缺陷类型，能够真实反映工业场景特征，同时在规模、分辨率和多样性上均有显著提升。伪 3D 图像的引入改善了表面细节和深度信息的捕捉效果，大幅提高了检测精度。实验结果表明，现有方法在复杂工业场景中仍面临挑战，凸显了开发更鲁棒解决方案的必要性。Real-IAD D³ 及其基准模型为推动多模态工业异常检测在实际工业应用中的发展奠定了坚实基础。