基于OpenCV和深度学习实现图像风格迁移

文章目录

- 引言
- 一、准备工作
- 二、代码实现解析
- - 1. 读取和显示原始图像
  - 2. 图像预处理
  - 3. 加载和运行风格迁移模型
  - 4. 处理输出结果
- 三、效果展示
- 四、扩展应用
- 五、总结

引言

图像风格迁移是计算机视觉中一个非常有趣的应用，它可以将一幅图像的内容与另一幅图像的艺术风格相结合。今天我们将介绍如何使用OpenCV的dnn模块加载预训练的深度学习模型，快速实现图像风格迁移效果。

一、准备工作

首先确保你已经安装了OpenCV库：

pip install opencv-python

我们需要准备：

输入图像（如like2.jpg）
预训练的风格迁移模型（如starry_night.t7）

二、代码实现解析

1. 读取和显示原始图像

import cv2# 读取输入图像并调整大小
image = cv2.imread('like2.jpg')
image = cv2.resize(image, dsize=None, fx=0.5, fy=0.5)# 显示原始图像
cv2.imshow('Original Image', image)
cv2.waitKey(0)

这部分代码读取输入图像并将其大小缩小一半，然后显示原始图像。

2. 图像预处理

(h, w) = image.shape[:2]  # 获取图片尺寸# 创建blob对象，用于神经网络输入
blob = cv2.dnn.blobFromImage(image, 1, (w, h), (0, 0, 0), swapRB=False, crop=False)

blobFromImage函数对图像进行预处理：

1：缩放因子，保持原始像素值
(w, h)：输入图像的尺寸
(0, 0, 0)：均值减法，这里不使用
swapRB=False：不交换红蓝通道
crop=False：不裁剪图像

3. 加载和运行风格迁移模型

# 加载预训练模型
net = cv2.dnn.readNet(r'model\starry_night.t7')  # PyTorch训练的星空风格模型
net.setInput(blob)# 前向传播获取输出
out = net.forward()

这里我们加载了一个已经训练好的星空风格迁移模型（.t7文件是Torch模型格式）。
这段代码是使用OpenCV的dnn模块加载并运行一个预训练的深度学习模型的核心部分。我来详细解释每一行：

net = cv2.dnn.readNet(r'model\starry_night.t7')

这行代码的作用是加载预训练的深度学习模型：

cv2.dnn.readNet()：OpenCV中用于加载预训练模型的函数
r'model\starry_night.t7'：模型文件的路径（这里使用了原始字符串r''避免转义字符问题）
- .t7是Torch/LuaTorch框架的模型文件扩展名
- 这是一个已经训练好的"星空风格"风格迁移模型

net.setInput(blob)

这行代码的作用是设置模型的输入：

blob：之前通过blobFromImage预处理得到的输入数据
setInput()方法将预处理后的图像数据传递给神经网络

out = net.forward()

这行代码的作用是执行前向传播（推理）：

forward()：让加载的神经网络执行前向计算（即推理过程）
out：得到模型的输出结果（风格迁移后的图像数据）

整体流程解释：

加载模型：从磁盘读取预训练好的神经网络模型
设置输入：将预处理后的图像数据输入网络
执行推理：让网络处理输入图像并生成输出

技术细节：

这个模型是一个风格迁移网络，它学习了如何将普通照片转换为星空艺术风格
.t7文件包含了网络的所有层结构、权重和参数
forward()执行的是整个网络的推理过程，不需要训练（因为模型已经预训练好了）
输出out是一个四维张量（BCHW格式），需要后续处理才能显示为图像

类比理解：

可以把这个过程想象成一个"艺术滤镜机"：

先安装滤镜（加载模型）
放入要处理的照片（设置输入）
按下处理按钮（执行forward）
得到艺术照（输出结果）

这种方法是典型的"模型推理"过程，区别于"模型训练"，因为我们只是使用已经训练好的模型，而不修改其参数。

4. 处理输出结果

# 调整输出形状（从4维BCHW变为3维CHW）
out_new = out.reshape(out.shape[1], out.shape[2], out.shape[3])# 归一化处理
cv2.normalize(out_new, out_new, norm_type=cv2.NORM_MINMAX)# 转置维度
result = out_new.transpose(1, 2, 0)# 显示风格迁移后的图像
cv2.imshow('Stylized Image', result)
cv2.waitKey(0)
cv2.destroyAllWindows()