一、简介
OmniGen2 是由北京智源研究院最新推出的一个强大、高效的开源多模态生成模型。与 OmniGen v1 不同，OmniGen2 具有两种不同的文本和图像模态解码路径，利用非共享参数和解耦的图像分词器。OmniGen2 在四个主要功能方面具有竞争力的性能：
- 视觉理解 ：继承了 Qwen-VL-2.5 基础的强大图像内容解释和分析能力。
- 文本到图像生成 ：从文本提示创建高保真且美观的图像。
- 指令导向的图像编辑 ：以高精度执行复杂的、基于指令的图像修改，在开源模型中实现最先进的性能。
- 上下文生成 ：一种多功能功能，可处理和灵活组合各种输入（包括人类、参考对象和场景），以产生新颖且连贯的视觉输出。
OmniGen2 的一些好案例：
示范*
OmniGen2 图像编辑功能的良好演示。*
OmniGen2 的上下文生成功能的良好演示。
二、本地部署
注意：本文主要介绍部署到ComfyUI中使用
| 环境 | 版本号 |
|---|---|
| Python | =3.12 |
| PyTorch | =2.5.1 |
| cuda | =12.4 |
| Ubtuntu | 22.4.0 |
1.安装 Miniconda
步骤 1：更新系统
首先，更新您的系统软件包：
sudo apt update
sudo apt upgrade -y
步骤 2：下载 Miniconda 安装脚本
访问 Miniconda 的官方网站或使用以下命令直接下载最新版本的安装脚本（以 Python 3 为例）：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
步骤 3：验证安装脚本的完整性（可选）
下载 SHA256 校验和文件并验证安装包的完整性：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh.sha256
sha256sum Miniconda3-latest-Linux-x86_64.sh
比较输出的校验和与.sha256 文件中的值是否一致，确保文件未被篡改。
步骤 4：运行安装脚本
为安装脚本添加执行权限：
chmod +x Miniconda3-latest-Linux-x86_64.sh
运行安装脚本：
./Miniconda3-latest-Linux-x86_64.sh
步骤 5：按照提示完成安装
安装过程中，您需要：
阅读许可协议 ：按 Enter 键逐页阅读，或者按 Q 退出阅读。
接受许可协议 ：输入 yes 并按 Enter。
选择安装路径 ：默认路径为/home/您的用户名/miniconda3，直接按 Enter 即可，或输入自定义路径。
是否初始化 Miniconda ：输入 yes 将 Miniconda 添加到您的 PATH 环境变量中。
步骤 6：激活 Miniconda 环境
安装完成后，使环境变量生效：
source ~/.bashrc
步骤 7：验证安装是否成功
检查 conda 版本：
conda --version
步骤 8：更新 conda（推荐）
为了获得最新功能和修复，更新 conda：
conda update conda
2.部署 ComfyUI
2.1 克隆代码仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
2.2 安装依赖
- 创建 conda 虚拟环境
conda create -n comfyenv python==3.12
conda activate comfyenv
- 安装 PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
- 安装依赖
cd ComfyUI
pip install -r requirements.txt
- 安装 ComfyUI Manager
#进入插件的文件
cd /ComfyUI/custom_nodes/
#下载ComfyUI Manager
git clone https://github.com/Comfy-Org/ComfyUI-Manager.git
3.下载模型
推荐在魔搭社区中下载模型
#启动虚拟环境
conda activate comfyenv
#进入项目文件
cd ComfyUI
#下载modelscope
pip install modelscope
#下载模型文件到指定文件夹
modelscope download --model Comfy-Org/Omnigen2_ComfyUI_repackaged split_files/diffusion_models/omnigen2_fp16.safetensors --local_dir /models/diffusion_models/
#下载vae模型
modelscope download --model Comfy-Org/Omnigen2_ComfyUI_repackaged split_files/vae/ae.safetensors --local_dir /models/vae/
#下载text_encoders模型
modelscope download --model Comfy-Org/Omnigen2_ComfyUI_repackaged split_files/text_encoders/qwen_2.5_vl_fp16.safetensors --local_dir /models/text_encoders/
模型网址：
Omnigen2_ComfyUI_repackaged · 模型库
模型名称：
omnigen2_fp16.safetensors
模型放置路径：ComfyUI/models/omnigen2_fp16.safetensors
qwen_2.5_vl_fp16.safetensors
模型放置路径：ComfyUI/models/text_encoders
ae.safetensors
模型放置路径：ComfyUI/models/vae
4.启动 ComfyUI
python main.py
输入网址进入 ComfyUI:
http://127.0.0.1:8188
5.使用OmniGen2工作流
点击如图所示的文件图标，然后选取想使用的OmniGen2工作流
微分操作)
