字节推出统一多模态模型 BAGEL，GPT-4o 级的图像生成能力直接开源了！

字节推出的 BAGEL 是一个开源的统一多模态模型，他们直接开源了GPT-4o级别的图像生成能力。（轻松拿捏“万物皆可吉卜力”玩法~）。可以在任何地方对其进行微调、提炼和部署，它以开放的形式提供与 GPT-4o 和 Gemini 2.0 等专有系统相当的功能，通过能够实现精确、准确和逼真的输出的原生多模态架构解锁有用且有价值的图像生成。

效果展示

聊天

BAGEL 是一个统一的生成和理解模型，它基于大型语言模型进行初始化预训练，从而为其提供了推理和对话的基础能力。BAGEL 可以处理图像和文本的混合格式输入和输出。

生成效果

BAGEL 已基于大规模交错视频和网页数据进行预训练，使其能够生成高保真、逼真的图像、视频帧或交错的图文内容。交错数据经过适当的对齐，能够构建自然的多模态思维链，使模型能够生成视觉输出。

编辑

通过对交错视频片段进行预训练，BAGEL 能够自然地学习保留视觉特征和精细细节，同时还能捕捉视频中复杂的视觉运动，从而高效地进行图像编辑。凭借源自视觉语言模型的强大推理能力，BAGEL 的智能编辑能力轻松超越了基础编辑任务。

风格转换

凭借对视觉内容和风格的深刻理解，BAGEL 可以轻松地将图像从一种风格转换为另一种风格，甚至可以将其转换为完全不同的风格，只需使用最少的对齐数据即可。

作品

BAGEL 从视频、网络和语言数据中学习广泛的知识和能力，使其能够进行推理、建模物理动态、预测未来帧等等——所有这些都通过统一的多模态界面实现。凭借其组合能力，BAGEL 可以无缝地进行多轮对话。

方法

BAGEL 采用混合 Transformer-专家 (MoT) 架构，以最大限度地提升模型从丰富多样的多模态信息中学习的能力。遵循同样的容量最大化原则，它利用两个独立的编码器来捕捉图像的像素级和语义级特征。整体框架遵循“下一组标记预测”范式，其中模型被训练为预测下一组语言或视觉标记作为压缩目标。

BAGEL 通过对涵盖语言、图像、视频和网络数据的数万亿个交错多模态标记进行预训练、持续训练和监督微调来扩展 MoT 的容量。它在标准理解和生成基准上超越了开放模型，并展示了先进的上下文多模态能力，例如自由格式图像编辑、未来帧预测、3D 操作、世界导航和序列推理。

随着我们扩展 BAGEL 的预训练，添加更多多模态标记，我们观察到理解、生成和编辑任务的性能持续提升。不同的能力在不同的训练阶段显现——多模态理解和生成能力出现较早，随后是基础编辑能力，而复杂的智能编辑能力则在后期显现。这种阶段性进展表明了一种新兴模式，即高级多模态推理建立在完善的基础技能之上。消融研究进一步表明，将 VAE 与 ViT 特征相结合可以显著提升智能编辑能力，这凸显了视觉语义语境在实现复杂多模态推理方面的重要性，并进一步支持了其在高级能力涌现中的作用。