Stable Diffusion入门-ControlNet 深入理解 第二课:ControlNet模型揭秘与使用技巧


大家好,欢迎回到Stable Diffusion入门-ControlNet 深入理解系列的第二课!

如果你还记得第一篇文章的内容 - 我们已经了解了 ControlNet 的基础概念:它通过预处理器模型两个强力模块,赋予了AI绘画前所未有的精准控制。


还没看过的同学?别担心,赶紧点开链接补课:Stable Diffusion入门-ControlNet 深入理解 第一课


今天,我们将进一步深入,重点探讨ControlNet的模型文件及其使用方式,特别是那些让你AI绘图更加“听话”的控制方法。你准备好了吗?




第一部分:ControlNet模型文件的使用——从下载到保存


首先,大家别慌,模型文件并不复杂。我们可以从Hugging Face或通过网盘下载ControlNet的模型文件。

下载的文件可以放到以下两个目录之一:


  1. extension---sd-webui-controlnet---models

在这里插入图片描述

  1. Models---controlnet

在这里插入图片描述


这两个路径,哪个都行,主要取决于你使用的部署方式。

记住:保存路径要一致,否则模型会找不到,ControlNet的魔力就发挥不出来了!

如果你是第一次下载某个模型,启动器会自动下载缺失的模块,所以不必担心。如果想要一步到位,所有模型文件都可以在这个网盘链接 下载。

https://pan.baidu.com/s/1yeosHNxqq8n700MC5N40EA?pwd=4e74

在这里插入图片描述




第二部分:模型文件名详解——让你秒懂命名规则


在这里插入图片描述


我们拿 control_v11p_sd15_canny.pth 为例,简单解释下它的命名规则:

  • controlnet:项目名称,说明这是一个ControlNet的模型。

  • V11P:版本状态,V11代表版本号,P表示这是已完成并可以使用的稳定版本(记住,P、E、U分别代表不同的状态,E为实验版本,U是未完成,F是bug修复版)。


在这里插入图片描述


以上就是官方v1.1的全部模型

其中,每个模型都有fp16版本,而FP16相对于FP32有更快的计算速度和更低的内存使用量

在这里插入图片描述

  • SD15:适配的Stable Diffusion大模型版本,确保ControlNet模型和主模型匹配才能生效!
  • Canny:模型控制方式,这里指“硬边缘”控制方法。
  • .pth:模型文件的扩展名,它代表了这是一个PyTorch格式的文件。至于其他格式,比如saferensors,大家可以根据需要使用。

重要提示:如果你下载的ControlNet模型是V11之后的版本,它会有一个与模型同名的配置文件(扩展名为yaml)。这个配置文件对模型非常关键,千万别漏掉!



第三部分:ControlNet模型-线条类的控制方法详解


模型文件有了,接下来就要深入了解每种模型的具体用途了。

ControlNet有多种类型的控制方法,我们可以根据自己的需求选择最合适的模型。

下面,我们就来看看线条类的控制方法:


1. Canny—硬边缘控制


Canny是我最喜欢的控制方法之一!

它通过边缘检测来帮助AI绘制出清晰的硬边缘图像。尤其在需要强调物体轮廓和细节时,Canny显得尤为出色。


比如,你想画一个非常“硬朗”的人物轮廓,Canny就能帮你实现这一目标。

在这里插入图片描述


2. Lineart—线稿控制


想要让AI画出一个细致的线稿?那就用Lineart!

它适用于给AI提供更明确的构图线索,特别适合线稿上色或重新上色,当然也能用来控制图像形状。

Lineart控制的力度要比Canny稍弱一些,给了AI更多的发挥空间。


在这里插入图片描述


这里有四种Lineart的预处理选项,适应不同风格:

在这里插入图片描述

  • lineart_standard:标准的线稿处理。
  • lineart_Coarse:适合边缘模糊、粗糙的图像(比如毛发等)。
  • lineart_realistic:适合写实风格的线稿。
  • lineart_anime:专为动漫风格线稿设计。
  • lineart_anime_denoise: 是针对漫画常用的网点/格点做了优化

注意两个anime都需要配合专门的模型使用

在这里插入图片描述

每种风格都有不同的适用场景,大家可以根据需求来选择。

可以看一组对比图:

在这里插入图片描述


3. Softedge—软边缘控制


Softedge(又叫HED)控制力度较弱,更适合细腻的过渡效果,常用于图像的柔和处理。

这种控制方式非常适合那些需要柔和细腻感的图像生成,尤其是人物的皮肤、柔软物体等。

在这里插入图片描述


一般用图示的PIDI即可。

如果要排优先级,可按稳定性来选择:

SoftEdge_PIDI_safe > SoftEdge_HED_safe > SoftEdge_PIDI > SoftEdge_HED 按质量:SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe


在这里插入图片描述

由于teed使用的太少,直接从作者官网上拔了组对比,感兴趣的同学可以自己试验下。


4. Scribble—涂鸦控制


如果你希望AI有更多创作空间,可以选择Scribble(涂鸦)。

它给了AI足够的自由度,用最简单的涂鸦线条来引导AI绘制图像。

虽然控制力度最弱,但结果通常会非常有创意,适合那些想要让AI“发挥想象”的用户。


在这里插入图片描述

而涂鸦可选的预处理器有三个:

在这里插入图片描述


  • scribble_xdog:够处理细节层次中找到完美的平衡
  • scribble_pidinet:处理图像清晰的曲线和直线边缘主要工具
  • scribble_hed:该预处理器擅长生成与技艺精湛的艺术家手绘相媲美的轮廓

总体来看三者差别不大,个人scribble_pidinet用的会多些,这个预处理器选取率更高些



5. MLSD—建筑线条控制


MLSD这个控制器,主要应用于建筑图像的生成。

它可以忽略复杂的曲线,只提取直线,专门用于那些建筑结构较多、直线元素突出的图像。

想生成建筑图像?MLSD是你的不二选择!


在这里插入图片描述




总结:如何选择合适的ControlNet模型?

根据你想要的效果选择不同的控制模型:

  • 最大程度还原照片?Canny
  • 只想控制构图,给AI更多空间?Softedge
  • 想要写实风格?Lineart
  • 建筑设计?MLSD
  • 给AI更多创作空间?涂鸦(Scribble)



在下一篇文章中,我们将带你进入更深的ControlNet使用技巧,讲解如何在实际生成中应用这些模型并解决常见问题!

想不想知道如何在最短时间内提高绘图的效率和质量?

敬请期待,下一篇文章,我们继续探索ControlNet的强大奥秘!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/88858.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/88858.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据时代UI前端的变革:从静态展示到动态交互

hello宝子们...我们是艾斯视觉擅长ui设计、前端开发、数字孪生、大数据、三维建模、三维动画10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! 在大数据时代,信息以前所未有的速度和规模增长。这种数据环境的变化,深…

引脚个数、引脚宽度、引脚之间距离

原图: 最终效果图如下: 1.读取图片并设置参数 read_image (Image, ic_pin) dev_set_draw (margin) dev_set_line_width (2) dev_get_window (WindowHandle) get_image_size (Image, Width, Height) 2.绘制提取的ROI区域 r:58 // 旋转矩形的中心点坐标…

内网和外网有什么区别?如何将内网ip端口地址映射到外网用?

由于局域网的使用,区分出了内网和外网两种概念。以路由器为核心,可以将多台电脑组建成一个局域网,局域网之内的网络便是内网。内网是有距离限制的,只有在路由器信号范围内的电脑才能接入局域网,否则需要进行内网穿透技…

Git仓库的原理理解

国内外主流的 Git 代码托管平台 (持续更新) - JetsungChan - 博客园 .gitignore文件讲解( 忽略规则文件 )[重点] (主要目的是为了节省空间 , 不必要的文件不要管他 , 忽略掉) 重复文件的云储存(只会上传一份) (所以不要怕stm32每个工程文件 , 有几十M , 全部上传会太大 . 实际…

011 Linux进程

🦄 个人主页: 小米里的大麦-CSDN博客 🎏 所属专栏: Linux_小米里的大麦的博客-CSDN博客 🎁 GitHub主页: 小米里的大麦的 GitHub ⚙️ 操作环境: Visual Studio 2022 文章目录 深入理解 Linux 进程管理一、管理哲学/本质:先描述&am…

星型模型(Star Schema)

在数据仓库的体系概念中,星型模型(Star Schema)和雪花模型(Snowflake Schema)是两种常见的数据模型,用于组织和结构化数据,以支持高效的查询和分析。 今天我们先介绍星型模型(Star …

【RAG面试题】如何获取准确的语义表示

目录 回答模板 语义表示是干什么的? 如何获取准确语义表示的关键步骤? 1. 选择合适的 Embedding 模型 2. 正确的文本预处理与切分 3. 文本清洗与标准化 4. 构建合理的向量库 5. 检索质量验证与优化 详细知识点覆盖 面试回答技巧 回答模板…

小程序 API 开发手册:从入门到高级应用一网打尽

在移动互联网浪潮中,小程序已经成为企业服务用户的“第二战场”。不论是微信小程序、支付宝小程序,还是抖音小程序,都在强调一个核心能力:快速响应用户需求。而支撑小程序灵活运行和丰富功能的关键技术之一,正是小程序…

iwebsec靶场sqli注入(2)

​​​​​​06-宽字节注入 1,该漏洞的根本原因是字符集处理不一致(GBK双字节特性)与不安全的转义方式(addslashes)共同导致。构造基础sql注入语句 1%df%27%20%23 漏洞原理 字符集设置:mysql_query("S…

小程序学习笔记:自定义组件创建、引用、应用场景及与页面的区别

在微信小程序开发中,自定义组件是一项极为实用的功能,它能有效提高代码的复用性,降低开发成本,提升开发效率。本文将深入剖析微信小程序自定义组件的各个关键方面,包括创建、引用、应用场景以及与页面的区别&#xff0…

开发数字化绿色低碳园区系统:分阶段实施指南

目录 摘要 背景 核心模块 阶段性开发 分阶段开发实施 第一阶段(3-6个月):搭建核心骨架 第二阶段(6-9个月):扩展功能 第三阶段(9-12个月):深度定制 技术选型 注意事项 实施计划表 小结 摘要 数字化绿色低碳园区系统通过物联网、能源管理和数据分析等技术,…

智能实验室革命:Deepoc大模型驱动全自动化科研新生态

自动化实验执行 自动化实验执行通过机器人技术与智能控制系统的深度融合,重构传统实验操作模式,其核心技术突破体现在以下层面: 1. ​​多模态任务分解与执行架构​​ 基于大模型的任务解析引擎可将复杂实验流程分解为可执行的原子操作序列…

还在手动部署?用Jenkins+Docker+Git实现自动化CI/CD

“每次发版都要手动打包上传,部署宕机了才发现出错?” 你还在重复“开发提测-打包部署-验证回归”的流水线操作?明明可以一键搞定的流程,为何还在亲力亲为?是时候了解并掌握 自动化 CI/CD 的真正威力了! 手…

Stream流中间方法的使用

Stream流的中间方法详解 Stream流的中间方法指那些返回新Stream的操作,允许链式调用。这些方法通常用于数据过滤、映射、排序等操作,不会触发最终计算。 filter方法 filter用于筛选满足条件的元素,接受一个Predicate函数式接口参数。 Lis…

华为云Flexus+DeepSeek征文|华为云ModelArts结合FeedMe:开启AI驱动的RSS阅读新时代

华为云FlexusDeepSeek征文|华为云ModelArts结合FeedMe:开启AI驱动的RSS阅读新时代 前言一、华为云ModelArts Studio平台介绍1.1 ModelArts Studio介绍1.2 ModelArts Studio主要特点1.3 ModelArts Studio使用场景1.4 ModelArts Studio产品架构 二、FeedMe…

华为云Flexus+DeepSeek征文 | 华为云ModelArts Studio新手入门:DeepSeek服务的配置与使用详解

华为云FlexusDeepSeek征文 | 华为云ModelArts Studio新手入门:DeepSeek服务的配置与使用详解 前言一、ModelArts Studio介绍1. 华为云ModelArts Studio简介2. 华为云ModelArts Studio主要特点3. 华为云ModelArts Studio主要使用场景 二、ModelArts Studio平台开通De…

Note2:机器学习基本攻略(Machine Learning by Hung-yi Lee)

目录 基本思路 1.训练资料上loss很大 1.1 model bias 1.2 optimazation(优化不够好) 1.3如何确定是 model bias还是optimazation 解决方法 2.训练资料上loss很小 2.1 Overfitting 解决方案 1.使用更多训练资料 2.限制模型 2.2 Mismatch 3.…

使用ubuntu下的FAST和gfzrnx进行广播星历下载及版本之间的转换

使用FAST下载混合的广播星历文件 cd FAST_V3.00.03 (进入文件夹) chmod x FAST (授权) chmod x bin/* ./FAST1 下载:https://gnss.gfz.de/services/gfzrnx/download (需注册) 2 打开bash,依次输入 (其中gfzrnx_2.1.12_lx64为下载…

vue裁剪图片

有一个需求就是在你有俩张图片一样大小,一个亮色的,一个暗色的,亮色的根据后端返回的数据显示多高,这样就有一个感觉是慢慢往上走的,主要用到了css的一个属性 .my-info-image {width: 280px;height: 200px;position: a…

使用GDAL库统计不同分区内的灾害点分布情况,计算灾害相对密度等统计指标

主要功能是处理地理空间栅格数据(TIFF文件)和灾害点数据(CSV文件),统计不同分区内的灾害点分布情况,并计算灾害相对密度等统计指标。 TIFF文件:已经重分类后的文件 CSV文件:灾害点…