论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing

Step1X-Edit 论文
当前图像编辑数据集规模小，质量差，由此构建了如下数据构造管线。
在这里插入图片描述
高质量三元组数据（源图像、编辑指令、目标图像）。

主体添加与移除：使用 Florence-2 对专有数据集标注，然后使用 SAM2 进行分割，再使用 ObjectRemovalAlpha 进行修复。编辑指令结合 Step-1o 和 GPT-4o 生成，然后人工审查有效性。
主体替换与背景更改：使用 Florence-2 对专有数据集标注，然后使用 SAM2 进行分割，再使用 Qwen-2.5VL 和 Recognize-Anything Model 识别目标对象和关键词，使用 Flux-Fill 进行内容感知修复。指令由 Step-1o 生成并人工审查。
色彩更改与材质修改：在图像中检测到对象后，使用 Zeodepth 深度估计，使用带扩散模型的 ControlNet 生成新图像。
文本修改：使用 PPOCR 识别字符，以及 Step-1o 模型区分文本正确、错误区域。同样生成编辑指令。
运动变化：使用 Koala-36M 的视频，提取帧作为输入，使用 BiRefNet 和 RAFT 进行前景-背景和光流估计，再用 GPT-4o 标记帧间运动变化作为编辑指令。
人像编辑与美化：对于动画风格和真实图像，先提取边缘，再利用 ControlNet 进行风格迁移。
采用上下文、双语标注。

在这里插入图片描述
之前的模态融合，FLUX-Fill 使用通道连接，但面对图像编辑指令不够灵活（难以处理局部调整、缺乏语义对齐、难以处理复杂指令）；SeedEdit 引入额外的因果自注意力，但会牺牲图像细粒度；DreamEngine 利用 Qwen 对图像和文本模态对齐，建立了共享表征空间，难以完全捕捉图像细粒度（更关注语义对齐）。
Step1X-Edit：

输入的编辑指令和参考图像首先通过MLLM进行处理。为了隔离和强调与编辑任务相关的语义元素，选择性地丢弃与系统前缀相关的标记嵌入，仅保留与编辑信息直接对齐的嵌入。
提取的嵌入被输入到轻量级的连接器模块，重构为更紧凑的多模态特征表示，然后作为输入传递给下游的DiT网络。采用标记连接（token concatenation）的方式，平衡对编辑指令的响应性与对细粒度图像细节的保留。这种方法比通道连接或额外的自注意力机制更有效。
在训练过程中，联合优化连接器模块和下游的DiT，仅使用扩散损失进行训练，确保稳定训练而不依赖掩码损失技巧。（采用 Rectified Flow 方式）
并且对 VLLM 输出的有效嵌入计算均值，将其作为 DiT 的引导。