通义万相wan2.2 Fun系列--Camera镜头控制与lnp首尾帧视频模型

    上节内容讲解了wan2.2 fun control本节内容对wan2.2 fun系列模型的camera镜头控制模型与lnp首尾帧视频模型进行测试与讲解。

     Wan2.2-Fun-Camera-Control是阿里基于Wan2.2框架推出的图生视频运镜控制模型 。它支持512、768、1024等多分辨率的视频预测,以81帧、每秒16帧视频数据集训练,还支持多语言预测。该模型能实现丰富运镜效果,包括摇镜上移、左移、右移、下移,推镜、拉镜,以及摇镜上移与左移或右移的组合等。借助它,创作者无需复杂提示词,就能精准实现复杂运镜视频控制,极大提升视频创作中镜头语言的表现力 。 

    Wan2.2-Fun-Inp是阿里巴巴PAI团队开源的视频首尾帧生成模型,采用Apache 2.0许可协议,支持商业使用。它允许用户输入首帧与尾帧图像,模型自动补全中间过渡动画,有效提升视频连贯性与创作自由度。基于先进的Wan2.2架构,它能输出影视级高质量视频,在画面细节、光影和色彩表现上十分出色。并且,该模型支持512×512、768×768、1024×1024等多分辨率视频生成,可满足广告制作、影视创作、短视频制作等不同场景需求 。(wan2.2基础模型也具备首尾帧视频功能,详见wan2.2基础模型对应文章内容)

    文末附相关模型的网盘下载地址。

1 模型下载

1.1 wan2.2 fun camera镜头控制模型

模型下载地址(需科学上网):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models

模型分为5B和14B模型两种规格。

14B模型划分为高噪声模型与低噪声模型,且每类模型又分为fp16与fp8两种模型。

图片

模型安装位置:..\ComfyUI\models\diffusion_models

1.2 Wan2.2-Fun-Inp首尾帧视频模型

上述模型下载地址中,下载名称为wan2.2funinpaint相关模型。

图片

模型安装位置:..\ComfyUI\models\diffusion_models

注:wan2.2系列模型对应的VAE等模型使用方式一致,如已按前文内容下载VAE等模型,则后续模型无需再重复下载。

1.3 VAE模型

(1)14B版本模型工作流中所使用的VAE模型仍是wan2.1版本的VAE模型。

下载地址:

https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/vae

图片

文件存放目录:..\comfyui\models\vae

(2)5B混合模型使用wan2.2专用VAE模型,下载地址:

wan2.2_vae.safetensors

模型下载地址(需科学上网):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/vae

图片

模型安装位置:..\comfyui\models\vae

1.4Text Encoder文本编码器

umt5_xxl_fp8_e4m3fn_scaled.safetensors

模型下载地址(需科学上网):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/text_encoders

图片

注:该模型与wan2.1/2.2系列模型共用,如已使用过wan模型则无需重复下载。

1.5加速lora模型(lightx2v_4steps_lora)

模型下载地址(需科学上网):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/loras

图片

模型安装目录:..\comfyui\models\loras

高噪声和低噪声模型加载器后均需链接对应版本的加速lora模型。

使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA : 但可能导致生成的视频动态会有损失,但速度会更快。下面是comfyorg官方使用RTX4090D 24GB显存GPU 测试的结果 640*640 分辨率,81 帧长度的用时对比:

模型类型

分辨率

显存占用

首次生成时长

第二次生成时长

fp8_scaled

640×640

83%

≈ 524秒

≈ 520秒

fp8_scaled + 4步LoRA加速

640×640

89%

≈ 138秒

≈ 79秒

2 工作流

2.1 wan2.2 fun camera镜头控制模型

在 WanCameraEmbedding 节点设置相机控制参数:

Camera Motion: 选择相机运动类型(Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static 等)

Width/Height: 设置视频分辨率

Length: 设置视频帧数(默认81帧)

Speed: 设置视频速度(默认1.0)

图片

图片

2.2wan2.2 fun lnp首尾帧视频模型

(1)首尾帧图片上传,分别上传首尾帧图片素材

(2)WanFunInpaintToVideo 节点尺寸和视频长度调整:

调整 width 和 height 的尺寸,默认为 640, 我们设置了较小的尺寸你可以按需进行修改:

调整 length, 这里为视频总帧数,当前工作流 fps 为 16, 假设你需要生成一个 5 秒的视频,那么你应该设置 5*16 = 80

图片

3 附件

    本节内容涉及模型网盘地址:https://pan.quark.cn/s/0062f602f8b4

    模型文件已进行整理,网盘内包含工作流获取方式,适合不方便科学上网的的小伙伴下载使用。模型文件数量较多且尺寸较大,为避免下载中断等问题,可先转存再下载。

       欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等资源……

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

 

——画青山Ai学习专栏———————————————————————————————

零基础学Webui:

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/95864.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/95864.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaSE 集合从入门到面试:全面解析与实战指南

JavaSE 集合从入门到面试:全面解析与实战指南 在 Java 编程中,集合是处理数据的核心工具,几乎所有 Java 应用都会用到集合框架。从简单的列表存储到复杂的数据分析,集合框架提供了丰富的数据结构和操作方法。本文将从基础概念到面…

自建云音乐服务器:Navidrome+cpolar让无损音乐随身听

文章目录前言1. 安装Docker2. 创建并启动Navidrome容器3. 公网远程访问本地Navidrome3.1 内网穿透工具安装3.2 创建远程连接公网地址3.3 使用固定公网地址远程访问前言 “想听自己的无损音乐还要开会员?”——音乐发烧友小王的烦恼。商业音乐平台音质压缩&#xff…

C3P0连接池适配HGDB

文章目录文档用途详细信息文档用途 讲解常用的并且需要与数据库进行交互的开源框架C3P0,以及C3P0框架是如何适配HGDB的。 详细信息 1.C3P0概述 C3P0是一个开源的JDBC连接池,它实现了数据源和JNDI绑定,支持JDBC3规范和JDBC2的标准扩展。目…

ZeroGPU Spaces 加速实践:PyTorch 提前编译全解析

ZeroGPU 让任何人都能在 Hugging Face Spaces 中使用强大的 Nvidia H200 硬件,而不需要因为空闲流量而长期占用 GPU。 它高效、灵活,非常适合演示,不过需要注意的是,ZeroGPU 并不能在所有场景下完全发挥 GPU 与 CUDA 栈的全部潜能…

8.ImGui-输入框

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 本次游戏没法给 内容参考于:微尘网络安全 上一个内容:7.ImGui-单选框和复选框 单行输入框使用 ImGui::InputText(),下图中…

2025年- H120-Lc28. 找出字符串中第一个匹配项的下标(数组)--Java版

1.题目2.思路 短的子串相对不变 所以我们用长的字符串去截取in个长度的子串做遍历 如果两者相等 返回字符串第一个匹配项的索引的下标 3.代码实现 class Solution {public int strStr(String haystack, String needle) {int s1haystack.length();int s2needle.length();//遍历最…

uport1100系列转接头,SZ系列光电编码器RS485通信

安装uport1100系列转接头驱动 :选择对应自己系统内核版本的驱动。否则爆出系统内核过高过低等问题。 查看系统内核版本指令: uname -r #简要 uname -a #详细驱动下载官网: https://www.moxa.com.cn/support/product-support/software-and-…

Java全栈开发面试实战:从基础到微服务架构

Java全栈开发面试实战:从基础到微服务架构 在一次互联网大厂的Java全栈开发岗位面试中,一位名叫李明的28岁程序员,拥有计算机科学与技术本科学历,工作年限为5年。他的主要职责包括设计和实现前后端分离的Web应用、参与微服务架构的…

win10(三)视频剪裁

上传一刻相册,有30M大小限制。这个软件能免费剪裁视频而且支持手机的H.265格式,这个格式目前连potplayer都支持不好。但是配合FFmpeg可以检测并且能按大小(或时间)剪裁,并上传到一刻相册上播放。 下载FFmpeg的方法&am…

Linux--线程

Linux线程概念 1 什么是线程 • 在⼀个程序⾥的⼀个执⾏路线就叫做线程(thread)。更准确的定义是:线程是“⼀个进程内部 的控制序列” • ⼀切进程⾄少都有⼀个执⾏线程 • 线程在进程内部运⾏,本质是在进程地址空间内运⾏ • 在L…

【C++】C++11的包装器:function与bind简介

各位大佬好,我是落羽!一个坚持不断学习进步的学生。 如果您觉得我的文章还不错,欢迎多多互三分享交流,一起学习进步! 也欢迎关注我的blog主页: 落羽的落羽 文章目录一、function1. 概念2. 用法二、bind1. 概念2. 用法…

MySQL高级特性详解

MySQL高级特性详解 一、自关联查询 概念 自关联查询是指一个表与它自己进行连接的查询。通常用于处理具有层级关系或递归结构的数据。 应用场景 员工与上级关系分类的父子关系地区的层级关系 示例 -- 创建员工表 CREATE TABLE employees (emp_id INT PRIMARY KEY,emp_name VARC…

深度学习——调整学习率

学习率调整方法详解在深度学习训练过程中,学习率(Learning Rate, LR) 是影响模型收敛速度和效果的关键超参数。学习率过大可能导致训练不稳定、震荡甚至无法收敛;学习率过小又会导致收敛过慢甚至陷入局部最优。因此,如…

Java分页 Element—UI

前端代码 <div class"block"><span class"demonstration">页数较少时的效果</span><el-paginationlayout"prev, pager, next":total"50"></el-pagination> </div>参考Element-UI total:0, form: …

html中列表和表格的使用

列表一般来说只有一列一列的进行使用&#xff0c;是一维的列表分为三种列表形式<!-- 列表标签ul-li:无序列表&#xff0c;必须用 <ul> 当 “容器”&#xff08;代表 “无序列表”&#xff09;&#xff0c;每个条目用 <li> 包起来&#xff08;代表 “列表项”&am…

大学信息查询平台:一个现代化的React教育项目

一 项目简介大学信息查询平台是一个基于React Vite Tailwind CSS构建的现代化Web应用&#xff0c;专门用于查询中国各大高校的详细信息。该项目不仅功能实用&#xff0c;更在用户体验和界面设计上做到了极致。二 核心功能2.1. 智能大学搜索// 搜索功能核心代码 const searchU…

代码随想录算法训练营第六天 - 哈希表2 || 454.四数相加II / 383.赎金信 / 15.三数之和 / 18.四数之和

代码随想录算法训练营第六天 - 哈希表2 || 454.四数相加II / 383.赎金信 / 15.三数之和 / 18.四数之和454.四数相加II解题思路383.赎金信自己解答&#xff1a;代码随想录讲解暴力做法哈希表15.三数之和双指针优化改进18.四数之和自己的解答系统讲解454.四数相加II 文档讲解&…

FPGA实现流水式排序算法

该算法采用双调排序算法&#xff0c;是一种可流水的递推算法&#xff0c;且算法的消耗时长可算&#xff0c;具体细节参考视频&#xff1a; https://www.bilibili.com/video/BV1S3thzWEnh/?spm_id_from333.1387.homepage.video_card.click&vd_source69fb997b62efa60ae1add…

平衡车 -- MPU6050

&#x1f308;个人主页&#xff1a;羽晨同学 &#x1f4ab;个人格言:“成为自己未来的主人~” 传感器原理 此外&#xff0c;用陀螺仪获取x,y,z轴的加速度。 初始化 我们现在对MPU6050进行初始化&#xff0c;MPU6050通过I2C总线与单片机进行通信&#xff0c;通过的是PB8和PB…

在电路浪涌测试中,TVS(瞬态电压抑制二极管)的防护效果确实会受到陪测设备中去耦网络(Decoupling Network,DN)的显著影响

在电路浪涌测试中&#xff0c;TVS&#xff08;瞬态电压抑制二极管&#xff09;的防护效果确实会受到陪测设备中去耦网络&#xff08;Decoupling Network&#xff0c;DN&#xff09;的显著影响&#xff0c;这一现象与浪涌能量的传递路径、阻抗匹配及信号完整性密切相关。结合 AD…