6 个核心基础模块

序号	模块	说明	推荐学习顺序
1	📷 三维计算机视觉基础	建立对3D场景、点云、体积的空间理解	✅第一个
2	🧮 CT成像原理与图像表示	理解CT图像本质、断层数据、密度单位	✅并行进行
3	🟡 NeRF与3D Gaussian Splatting原理	掌握点云/高斯场如何表示3D信息	✅重点
4	🧠 深度学习框架（PyTorch）	为训练网络/修改代码打基础	✅必须掌握
5	🎨 渲染基础（体积渲染、光照模型）	尤其要懂Ray Marching、Alpha合成	✅推荐补充
6	📊 3D数据处理与评价指标	如何读写.ply、.nii、.mhd等数据格式	🔁应用时再精学

具体推荐学习内容（含路径）

1️⃣ 三维视觉基础

• ✅ 《Multiple View Geometry in Computer Vision》（可选读第1-4章）

• ✅ B站课程或CS231n关于3D场景、三角网格、点云等基础讲解

• ✅ 推荐关键词：三维重建、Structure-from-Motion (SfM)、点云(Point Cloud)、体素（Voxel）

---

2️⃣ CT成像与医学图像表示

• ✅ 学习 CT的物理原理：X射线、Hounsfield Units (HU)、切片间隔、3D Volume

• ✅ 学会查看CT图像格式：DICOM、.nii.gz、.mhd

• ✅ 推荐工具：

  • 3D Slicer（医学图像查看与可视化）

  • SimpleITK/PyTorch + nibabel（读取.nii等格式）

---

3️⃣ 3D Gaussian Splatting 相关原理

• ✅ 阅读论文：“3D Gaussian Splatting for Real-Time Radiance Field Rendering”（CVPR 2023）

• ✅ 跑通官方代码：https://github.com/graphdeco-inria/gaussian-splatting

• ✅ 理解核心概念：

  • 3D高斯点：位置、尺度、旋转、颜色、不透明度

  • Splatting渲染原理：光线穿过多个高斯点，按透明度融合

---

4️⃣ 深度学习基础与PyTorch

• ✅ 推荐学习路径：

  • 零基础看莫烦PyTorch教程（B站）

  • 用小项目（如猫狗分类）练习模型训练、损失函数、可视化

• ✅ 常用内容：

  • Dataset、DataLoader、model.forward

  • 损失函数（L1、MSE、Focal Loss）

  • 可视化（TensorBoard、matplotlib）

---

5️⃣ 渲染基础：体积渲染与透明度融合

• ✅ 学习Ray Marching原理（体素/场景渲染关键）

• ✅ 学习Alpha合成与光线累积规则（在3DGS中用于可视化）

• ✅ 可阅读论文/博客：

  • NeRF核心原理

  • “How NeRF Works”系列博客

• ✅ 推荐工具：

  • Open3D

  • Kaolin / PyTorch3D（Meta）

---

6️⃣ 3D医学数据处理与可视化

• ✅ 学习如何从 DICOM/NII 读取体积数据

• ✅ 掌握基本可视化：体绘制、MIP、切面分析

• ✅ 推荐工具：

  • SimpleITK / nibabel / monai（医学图像处理工具包）

  • 3D Slicer + Python脚本二次开发

✅ 已实现内部结构重建的核心研究

1. Volumetrically Consistent 3D Gaussian Rasterization

• 内容亮点：通过对3D高斯体积进行解析积分，实现物理一致的透明度（alpha）计算，直接用于CT/层析成像 （tomography）。

• 重点说明：作者指出该方法“直接用于CT成像”，并且在层析重建任务上达到或超越现有3DGS体方法 ruyi-zha.github.io+1arxiv.org+1jarxiv.com+6arxiv.org+6ruyi-zha.github.io+6。

2. R²‑Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

• 内容亮点：这是首个专注于稀疏视图X光/CT断层的3DGS框架，通过校正投影积分偏差，获得高质量体积重建，速度比 NeRF 快12倍 reddit.com+2arxiv.org+2link.springer.com+2。

• 明确实现：论文直接用于“X-ray computed tomography”，说明已经实现内部结构还原。

3. RayGauss: Volumetric Gaussian‑Based Ray Casting

• 内容亮点：引入体积光线投射机制，将高斯体作为可微、物理一致的体积渲染单元，适合处理内部密度与结构 arxiv.org+1ruyi-zha.github.io+1hub.baai.ac.cn。

• 实现方向：虽然聚焦于视角合成，但其“体积光线投射”机制是内部重建基础。

---

🔍 总结对比

论文	实现内部结构重建？	技术核心	任务类型
Volumetrically Consistent 3D Gaussian Rasterization	✅	对高斯体进行体积积分	CT、层析重建
R²‑Gaussian	✅	X光投影+偏差校正，体积恢复	稀疏CT重建
RayGauss	✅	光线体积投射	体渲染、新视角
原始3DGS	❌（仅表面）	2D splatting投影	可见表面重建

---

📝 结论

• ✅ 已有人通过3篇关键论文证明了内部结构重建的可行性。

• ✅ 特别是 Volumetrically Consistent 3D Gaussian Rasterization 和 R²‑Gaussian，明确应用于CT/X光层析任务。

• ✅ 也就是说，这个方向已在少量但高质量研究中实现，你无需完全从零开创，而是在已有基础上推进。

方案方向	核心优势	影响你任务的关键点
NeuSG	表面＋内部密度融合	精细几何与体积结合
IOAR	多层级表面识别	重建明确“内”和“外”边界
MirrorGaussian	光学混合结构处理	可处理反射/透视下结构
SOGS/RestorGS	轻量 & 深度增强	稀疏与复杂数据的重建
SuGaR / DepthSplat	高效生成网格	精细层次结构 + 加速处理