摘要：创建具有显式、可编辑部件结构的三维资产，对于推动交互式应用的发展至关重要。然而，大多数生成方法仅能生成整体式形状，限制了其实际应用价值。我们提出OmniPart——一种新型的部件感知三维物体生成框架，旨在实现组件间的高度语义解耦，同时保持稳健的结构连贯性。OmniPart创新性地将这一复杂任务分解为两个协同阶段：（1）自回归结构规划模块生成一个可控、可变长度的三维部件边界框序列，该过程由灵活的二维部件掩码关键性引导，允许在不依赖直接对应关系或语义标签的情况下，直观控制部件分解；（2）空间条件校正流模型（该模型由预训练的整体式三维生成器高效适配而来），在规划好的布局内同时且一致地合成所有三维部件。我们的方法支持用户自定义部件粒度、精确定位，并支持多样化的下游应用。大量实验表明，OmniPart取得了当前最优的性能，为构建更具可解释性、可编辑性和通用性的三维内容开辟了道路。Huggingface链接：Paper page，论文链接：2507.06165
OmniPart: 基于语义解耦与结构连贯性的部件感知三维生成研究总结
一、研究背景和目的
研究背景
随着视觉计算技术的快速发展，创建丰富、交互式的三维世界已成为现代视觉计算的核心驱动力，广泛应用于沉浸式游戏、虚拟现实、数字孪生和机器人交互等领域。然而，当前的三维生成模型虽然能够生成令人印象深刻的三维整体形状，但这些模型往往缺乏对象内部基于语义的部件结构，即它们生成的是静态的、整体式的形状，而非由可编辑、可组合的语义部件构成的三维对象。这种结构上的不透明性极大地限制了这些三维资产在组成编辑、程序动画、材质分配和语义理解等关键任务中的直接应用，而这些任务对于艺术家、开发者和下游系统而言至关重要。
研究目的
本研究旨在解决现有三维生成模型在部件感知生成方面的局限性，提出一种能够生成具有明确语义解耦和结构连贯性的三维对象的新型框架——OmniPart。具体目标包括：
- 实现部件级的三维生成：通过解耦三维对象的生成过程，使得每个部件可以独立编辑和控制，提高生成内容的灵活性和可重用性。
- 保持整体结构的连贯性：在实现部件级生成的同时，确保生成的三维对象在整体结构上保持合理和连贯，避免部件之间的几何不一致。
- 支持多样化的下游应用：通过生成具有明确部件结构和语义信息丰富的三维对象，支持在动画制作、虚拟现实、游戏开发等领域的广泛应用。
二、研究方法
1. 两阶段生成框架
OmniPart采用了一种创新的两阶段生成框架，以实现部件感知的三维生成：
- 可控结构规划阶段：利用自回归模型生成一个可控的、可变长度的三维部件边界框序列。这一过程由灵活的二维部件掩码关键性引导，允许用户在不依赖直接对应关系或语义标签的情况下，直观地控制部件的分解。
- 空间条件部件合成阶段：基于规划好的部件布局，使用空间条件校正流模型（该模型由预训练的整体式三维生成器高效适配而来）同时且一致地合成所有三维部件。该模型确保生成的部件在几何和语义上保持高质量和一致性。
2. 自回归结构规划模块
该模块通过逐步生成三维部件的边界框，实现了对部件分解的直观控制。具体步骤包括：
- 输入处理：接收二维图像和掩码作为输入，这些掩码提供了关于部件位置和形状的初步信息。
- 边界框生成：利用自回归模型，根据输入图像和掩码逐步生成三维部件的边界框序列。每个边界框代表一个独立部件的三维位置和大小。
- 灵活性控制：通过调整二维掩码的粒度和位置，用户可以灵活控制部件的分解程度和布局。
3. 空间条件部件合成模块
该模块基于规划好的部件布局，使用空间条件校正流模型生成高质量的三维部件。具体步骤包括：
- 初始化：利用预训练的整体式三维生成器（如TRELLIS）生成初始的三维潜在表示。
- 空间条件校正：根据规划好的部件边界框，对初始潜在表示进行空间条件校正，生成每个部件的独立潜在表示。
- 部件合成：将校正后的潜在表示解码为三维网格和纹理，生成高质量的三维部件。
三、研究结果
1. 定量评估结果
在多个基准测试集上进行了广泛的实验，包括PartNet、ShapeNet和ModelNet等，以评估OmniPart在部件感知三维生成方面的性能。实验结果表明：
- 部件级性能：OmniPart在部件级的几何和语义质量上显著优于现有方法。具体而言，在Chamfer Distance（CD）和F1-score等指标上，OmniPart实现了更低的误差和更高的精度。
- 整体对象性能：在整体对象级别上，OmniPart生成的三维对象在结构连贯性和几何一致性方面也表现出色。与直接生成整体形状的方法相比，OmniPart能够生成更完整、更合理的部件几何形状，包括边界和遮挡区域。
2. 定性评估结果
通过可视化比较，进一步验证了OmniPart在生成高质量三维部件方面的优势。具体观察包括：
- 部件独立性：OmniPart生成的部件在几何和语义上保持高度独立，可以单独编辑和控制。
- 结构连贯性：生成的部件在整体结构上保持合理和连贯，避免了部件之间的几何不一致和语义冲突。
- 纹理一致性：通过将颜色信息从三维高斯烘焙到网格表面，OmniPart生成了具有一致纹理的三维部件，提高了视觉质量。
3. 下游应用验证
为了验证OmniPart在下游应用中的潜力，将其应用于动画制作、虚拟现实和游戏开发等领域。实验结果表明：
- 动画制作：通过编辑和控制生成的部件，实现了更精细的动画效果，提高了动画制作的灵活性和效率。
- 虚拟现实：在虚拟现实环境中，OmniPart生成的三维对象提供了更丰富的交互体验，增强了用户的沉浸感。
- 游戏开发：在游戏开发中，OmniPart支持快速生成多样化的游戏角色和道具，降低了开发成本和时间。
四、研究局限
尽管OmniPart在部件感知三维生成方面取得了显著进展，但仍存在以下局限：
- 边界框表示的局限性：目前使用轴对齐的边界框进行结构规划，这可能导致在某些情况下包含过多的噪声体素，影响生成质量。
- 训练数据的依赖性：OmniPart的性能高度依赖于预训练的整体式三维生成器的质量。如果预训练模型存在偏差或不足，可能影响OmniPart的生成效果。
- 计算资源的需求：两阶段生成框架需要较高的计算资源，特别是在空间条件部件合成阶段，可能限制了其在资源受限环境中的应用。
五、未来研究方向
针对OmniPart的局限性和潜在改进空间，未来研究可以从以下几个方面展开：
- 优化边界框表示：探索更精确的边界框表示方法，如使用定向边界框或基于体素的表示，以提高结构规划的准确性和生成质量。
- 减少对预训练模型的依赖：研究如何减少OmniPart对预训练整体式三维生成器的依赖，通过自监督学习或迁移学习等方法提高模型的独立性和泛化能力。
- 降低计算资源需求：优化算法和模型结构，降低OmniPart在空间条件部件合成阶段的计算资源需求，使其更适用于资源受限环境。
- 扩展应用领域：探索OmniPart在其他领域的应用潜力，如医学图像分析、机器人抓取规划等，进一步验证其通用性和实用性。
- 增强用户交互性：研究如何增强用户与OmniPart的交互性，如通过自然语言指令或手势控制等方式，实现更直观、更灵活的三维生成过程。
总之，OmniPart为部件感知三维生成提供了一种新颖且有效的框架，通过解耦部件生成和整体结构规划，实现了高质量、可编辑的三维对象生成。未来的研究将进一步优化其性能、扩展其应用范围，并增强其交互性和实用性。
