LoRA的风格分类
不用去记它有什么很特别的风格,简单来说基础模型就像一个全能画手,什么都能画,而LoRA是在某个风格中经过特训的它的一个分身。使得它更精通该风格。
关于LoR风格分类:提示词撰写公式
Checkpoint&LoRA对比
训练 | 效果 | 使用 | |
Checkpoint | 数据集:几千张 时间:几天 高GPU算力需求 | 效果更稳定,泛用性更好 | 可独立使用 |
LoRA | 数据集:几十张 时间:几小时 低GPU算力需求 | 风格效果多样,画面细节丰富 | 不可独立使用,必须和同系列的大模型搭配使用 |
模型筛选思路
明确目标→查找筛选目标模型→查看模型基本信息以及模型作者提供的说明
LoRA相关参数设置
LoRA需要设置触发词以及控制权重
只有在提示词中添加了触发词,LoRA模型才会产生作用。
LoRA权重控制LoRA对画面的影响程度,权重越高,LoRA对生成图片的影响越大,反之,权重为0表明LoRA不产生效果。但是权重过高会导致画面变得扭曲。
*滑块类LoRA
这类LoRA会通过权重对画面细节进行调节,在使用时需要特别注意作者关于该模型的说明。
人物年龄调节器,细节质感调节器、身材调节器、肤色调节器
多个LoRA的使用
混合出新的画风
在使用同一个底模的情况下使用多个LoRA
如下图的产出就是利用了3个LoRA模型。
尝试复刻该图的画风
1.模型部署
基于大佬提供的的模型,将对应模型加入到SD-webUI中
2.参数设置
参考作者提供的参数设置对应的参数,
如果想要复刻原图作者的图片,需要在随机种子处填入和作者相同的随机种子数。
设置好对应的参数,如采样方法,图片大小,随机种子数,迭代步数等。
3.提示词填写
在填写提示词前可以先拆解原大佬的提示词,对部分关键提示词进行保留。
正面提示词
bestquality,masterpiece,Highest quality,very detailed,//画面质量
1girl,solo,:p,long hair,blue hair,blue eyes,(A girl),full body,single focus,//画面主体&外貌特征
hair ornament(头发装饰物),halo,earrings,mole(色素痣?),jewelry,white gloves,bare shoulders,white dress,strapless dress,head wings,princess dress,//服饰道具
hand on own chest,//肢体动作
single focus(单聚焦),//镜头
moon,the moon,glowing starry sky(星光灿烂的天空),glowing palace,//环境
负面提示词
(worst quality:1.4),(low quality:1.4),(monochrome:1.1),( Unspeakable-Horrors-64v, NG_DeepNegative_V1_75T, negative_hand-neg, FastNegativeV2, boring_e621_v4, bad-hands-5, BadDream, By bad artist -neg, bad-picture-chill-75v, verybadimagenegative_v1.3),negative_hand-neg,FastNegativeV2,BadDream,bad-picture-chill-75v,verybadimagenegative_v1.3,((negative_hand)),((easynegative)),ng_deepnegative_v1_75t,negative_hand,nsfw,
查看其他模型提示词撰写要求
可以重点关注触发词,
可以看到Checkpoint模型的作者就有很详细的注释需要我们注意。
也可以注意到身材类LoRA没有触发词
基于上述知识,以及SD-提示词书写1-CSDN博客提到的提示词书写方法
可以写出下述正面提示词
bestquality,masterpiece,highest quality,very detailed,//画面质量
1girl,solo,halo,//画面主体
long hair,blue hair,hair ormament,//外貌特征
earrings,mole,blue and green eyes,jewelry,white gloves,bare shoulders,white and purple dress,strapless dress,head wings//服饰道具
dancing,lift hair,happy,blush,45 degree profile,eyes closed//肢体动作
white crystal,blue crystal,galaxy,musical note,tiny spot//场景环境
overhead shot,//镜头
基于上述提示词生成的结果AI绘画-runsheep-AI绘图-LiblibAI
恩,出图确实像抽卡。
推荐uu们自行多尝试各种LoRA模型的搭配。
实现更精致复杂的出图
1.手部修复
通过使用手部修复模型,以及TI模型实现手部的细节修复
可以看到生成的图片手部明显比未添加TI模型以及手部模型的表现更好
未添加其他模型以及TI模型时生图效果
TI模型说明:SD-提示词书写1-CSDN博客
*注意
在使用多个LoRA时,需要灵活调节各个LoRA之间的权重,多个LoRA之间的权重差异在0.2-0.5之间,在增加新LoRA时如果遇到画面表现不如预期时,需要意识到需要适当降低LoRA的权重。
建议依次叠加使用,而不是以上来就直接使用多个LoRA,因为这样不利于查找原因。
LoRA叠加数量最好不要超过5个,过多可能导致部分LoRA失效,让画面变得难以调整优化。
以上end