Debiased All-in-one Image Restoration with Task Uncertainty Regularization

Abstract

一体化图像恢复是一项基础的底层视觉任务,在现实世界中有重要应用。主要挑战在于在单个模型中处理多种退化情况。虽然当前方法主要利用任务先验信息来指导恢复模型,但它们通常采用统一的多任务学习,忽略了不同退化任务在模型优化中的异质性。为消除偏差,我们提出一种任务感知优化策略,为多任务图像恢复学习引入自适应的特定任务正则化。具体而言,我们的方法在训练过程中动态加权并平衡不同恢复任务的损失,促使实施最合理的优化路径。通过这种方式,我们能够实现更稳健且有效的模型训练。值得注意的是,我们的方法可作为即插即用策略,在不改变推理过程的情况下增强现有模型。在各种一体化恢复设置中的大量实验证明了我们方法的优越性和通用性。例如,使用TUR重新训练的AirNet在三个不同任务上平均提升1.16分贝,在五个不同的一体化任务上平均提升1.81分贝。这些结果突出了TUR在推动一体化图像恢复领域当前最优技术方面的有效性,为更稳健和通用的图像恢复铺平了道路。

Introduction

最近的工作MioIR(Kong、Dong和Zhang,2024年)通过提出一种顺序训练策略,在这个方向上取得了进展。该策略根据观察到的特征对退化任务进行分组。然而,它缺乏应对新退化任务的灵活性。关键挑战仍然存在:我们如何开发一种灵活有效的方法,在多任务优化过程中增强对任务先验的解释,以实现一体化图像恢复?
为应对这一挑战,我们从贝叶斯视角重新审视一体化图像恢复问题。我们针对多种退化任务提出了一种任务分组正则化方法。
它结合了一种与任务相关的正则化方法,该方法能够捕捉多种退化任务的独特特征,超越了现有混合多任务训练方法中使用的统一先验。更重要的是,这种依赖于任务的正则化提供了一种灵活且动态的机制,用于在多个退化任务中组合目标损失。
受神经网络不确定性的贝叶斯建模(阿卜达尔等人,2021年)启发,我们引入了任务不确定性正则化(TUR)。
这种任务分组正则化的实际实现提供了一种有原则的方法,可同时平衡和优化多个恢复任务,以适应每种退化类型的独特特征。此外,TUR通过再训练提供了一种即插即用的解决方案,以增强现有的一体化模型。如图1所示,我们在五种不同的一体化图像恢复设置和多个模型上验证了我们的方法,结果表明其性能始终优于其他方法。值得注意的是,使用TUR重新训练的AirNet在三个不同的任务上平均提升了1.16 dB,在五个不同的一体化任务上平均提升了1.81 dB。

在这里插入图片描述

Method

Preliminaries

传统的图像恢复方法通常使用最大似然估计来优化θ。给定退化的输入y,观察到干净图像x的似然被建模为:
在这里插入图片描述

Challenges of Multiple Degradation Types

对于涵盖K种退化任务的一体化图像恢复,我们将多种单一退化情况结合起来。设T={t1,t2,…,tK}表示K个恢复任务的集合。整体损失函数变为
在这里插入图片描述
虽然现有方法侧重于改进恢复模型中的任务先验,但它们往往忽略了优化目标。当前方法中多个任务损失的统一组合未能捕捉到每个任务的独特分布,而这是多任务学习中的一个关键考量因素。

Task Uncertainty Regularization

为应对这一挑战,我们将不确定性估计纳入一体化图像恢复框架。从贝叶斯观点出发,我们将恢复过程建模为:
在这里插入图片描述
基于此,我们引入任务不确定性正则化来捕获特定任务的不确定性,
p(x∣y,θ,σk)=N(x∣Mθ(y),σk2I)p(x \mid y, \theta, \sigma_k) = \mathcal{N}(x \mid \mathcal{M}_\theta(y), \sigma_k^2 I)p(xy,θ,σk)=N(xMθ(y),σk2I)
其中σk\sigma_kσk代表任务不确定性。对于任务k,我们的损失函数定义如下:
在这里插入图片描述
为了在所有任务中进行联合优化,我们提出以下多任务损失函数:
在这里插入图片描述

Remarks

自适应多任务组合:
为清晰起见,我们将公式(6)重新表述如下:
在这里插入图片描述
其中wk=1/2σ2w_k = 1/2 \sigma^2wk=1/2σ2,提供灵活且动态的多任务重新加权,R=∑klog⁡σkR = \sum_k \log \sigma_kR=klogσk。这种公式化方法会根据不同任务的估计不确定性自动学习平衡它们的贡献,并提供一个自适应、无偏差的优化目标。

实现细节

我们的TUR方法为一体化图像恢复模型提供了灵活的增强。在训练过程中,如图2所示,我们引入一个由三个堆叠的卷积层和激活层组成的辅助投影头,作为不确定性估计模块。这可以在不进行重大修改的情况下轻松集成到现有模型中。重要的是,在推理过程中不需要UEM,从而保持原始模型结构。因此,TUR就像一个即插即用的模块,在不改变现有恢复模型的情况下优化训练结果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/90429.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/90429.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

逆向 qq 音乐 sign,data, 解密 response 返回的 arraybuffer

解密 arraybuffer python requests 请求得到 arraybuffer&#xff0c;转为 hex 传递给 js res_data sign ctx.call("decrypt", response.content.hex())function decrypt(hex) {const bytes new Uint8Array(hex.length / 2);for (let i 0; i < hex.length; i …

PPT处理控件Aspose.Slides教程:在 C# 中将 ODP 转换为 PPTX

您是否正在寻找可靠的 PowerPoint SDK 来以编程方式开发ODP到PPTX转换器&#xff1f;本篇博文演示了如何使用 C# 将 ODP 转换为 PPTX。ODP是一种基于 XML 的演示文稿文件&#xff0c;可能包含图像、视频、文本等。但是&#xff0c;将打开的文档演示文稿转换为 PowerPoint 格式可…

[746] 使用最小花费爬楼梯

可以从下标0或者1作为起始位置————dp[0] dp[1] 0。一次性可以选择移动1次或者2次&#xff0c;故当下标>2的时候&#xff0c;到达2有可能是从下标0开始或者下标1开始&#xff0c;cost[0] or cost[1]&#xff1b;到达n&#xff0c;有可能是花费cost[n-1]到达&#xff0c…

树莓派vsftpd文件传输服务器的配置方法

在树莓派上安装和配置 vsftpd&#xff08;Very Secure FTP Daemon&#xff09;服务器的步骤如下&#xff1a; 1. 安装 vsftpd 打开终端&#xff0c;执行以下命令安装 vsftpd&#xff1a; sudo apt update sudo apt install vsftpd安装完成后&#xff0c;vsftpd 会自动启动。可以…

4.服务注册发现:微服务的神经系统

在微服务架构中,服务之间不再是固定连接,而是高度动态、短暂存在的。如何让每个服务准确找到彼此,是分布式系统治理的核心问题之一。服务注册发现机制,正如神经系统之于人体,承担着连接、协调、感知变化的关键角色。 本文将围绕 Netflix 开源的服务注册发现组件 Eureka 展…

基于Docker Compose部署Traccar容器与主机MySQL的完整指南

Traccar Docker镜像内嵌了H2数据库&#xff0c;该数据库容量有限&#xff0c;当达到一定容量时&#xff0c;定位数据无法写入会导致无法定位显示。为此有必要为Traccar 配置外部数据库。根据官网文档和自身经验我选择了MySQL。 参考的官方文档 软件环境为ubuntu server 24.04版…

paddlehub环境搭建和测试

目录1.环境搭建1.1 创建conda环境1.2 安装paddlepaddle和paddlehub1.3 安装依赖2. 移动端模型部署2.1 安装移动端模型2.2 测试3. 服务部署3.1 启动PaddleHub Serving3.2 发送预测请求1.环境搭建 1.1 创建conda环境 conda create --name paddlehub python3.8 conda activate p…

408第三季part2 - 计算机网络 - ip地址II

理解路由聚合就是从第一个不一样的往后全置为0题目这里一般来说会到达2个目的地址&#xff0c;但中间有个路由&#xff0c;所以路由聚合一下就行了聚合出来这个然后下一跳就是跳到下一个路由器d前面一样的不动&#xff0c;不一样的开始全置为0c再次理解题目这个先匹配169.96.40…

【Unity】MiniGame编辑器小游戏(十一)消消乐【Crush】

更新日期:2025年7月9日。 项目源码:获取项目源码 索引 消消乐【Crush】一、游戏最终效果二、玩法简介三、正式开始1.定义游戏窗口类2.规划游戏窗口、视口区域3.方块 Block①.定义方块类②.生成方块所有类型③.生成消消乐棋盘④.绘制收集栏⑤.绘制方块阵列4.查看方块挡住的其他…

RK3588 Android SDK 实战全解析 —— 架构、原理与开发关键点

&#x1f4d6; 推荐阅读&#xff1a;《Yocto项目实战教程:高效定制嵌入式Linux系统》 &#x1f3a5; 更多学习视频请关注 B 站&#xff1a;嵌入式Jerry RK3588 Android SDK 实战全解析 —— 架构、原理与开发关键点 作者&#xff1a;嵌入式 Jerry 一、前言 随着 AIoT、工业智…

从救火到赋能:运维的职责演进与云原生时代的未来图景

引言:刻板印象的瓦解 提起"运维工程师",许多人脑海中可能仍会浮现这样的画面:深夜里守着闪烁的监控屏幕、手忙脚乱地重启服务器、在布满网线的机房里穿梭…这曾是运维工作的真实片段,但绝非全貌,更非未来。 在云计算、DevOps、SRE理念和云原生技术栈的冲击下,…

UDP的socket编程

socket接口int socket(int domain, int type, int protocol);参数说明​​参数说明domain协议族&#xff08;地址族&#xff09;&#xff0c;如 AF_INET&#xff08;IPv4&#xff09;、AF_INET6&#xff08;IPv6&#xff09;type套接字类型&#xff0c;UDP 使用 SOCK_DGRAM&…

基于SD-WAN的管件制造数字化产线系统集成方案

1. 背景与目标随着制造业向智能化、数字化方向转型&#xff0c;传统产线面临着数据割裂、协同效率低下等问题。管件制造作为典型场景&#xff0c;涉及多环节的设计、制造与质检流程&#xff0c;亟需一套高效的系统集成方案&#xff0c;保障全流程数据贯通与实时协同。本方案基于…

学习open62541 --- [79] 在docker中运行open62541工程

docker是非常流行的容器技术&#xff0c;解决了部署环境不一致的问题&#xff0c;open62541的工程也可以在docker容器中运行&#xff0c;本文讲述如何把open62541工程放到docker容器中运行。 本文使用WSL ubuntu 22.04作为宿主环境&#xff0c;其它linux也是一样。一 拉取debia…

Spring Boot微服务中集成gRPC实践经验分享

Spring Boot微服务中集成gRPC实践经验分享 一、业务场景描述 在某电商系统中&#xff0c;推荐服务、库存服务、订单服务等微服务需要高效、双向流式通信&#xff0c;RESTHTTP已无法满足低延迟、高并发和严格类型安全的需求。为此&#xff0c;我们选择在Spring Boot微服务中集成…

springboot项目编写测试类,乱码问题解决

​MockMvc 的默认行为​ MockMvc ​默认使用 ISO-8859-1 解码响应&#xff0c;而服务端实际返回 UTF-8 编码数据 。 Postman 无乱码是因浏览器自动识别编码&#xff0c;但 MockMvc 需显式配置。 ​过滤器失效场景​ Spring 的 CharacterEncodingFilter ​默认只对 POST 请求生效…

打破传统,开启 AR 智慧课堂​

在教育领域&#xff0c;AR 智慧课堂宛如一场及时雨&#xff0c;为传统教育模式带来了革命性的变革&#xff0c;让学习变得更加生动有趣、高效互动。通过 AR 技术&#xff0c;抽象的知识瞬间变得鲜活起来&#xff0c;学生们可以在虚拟与现实交织的世界中&#xff0c;探索历史的长…

热烈祝贺 Flink 2.0 存算分离入选 VLDB 2025

VLDB 2025 论文热烈祝贺 Apache Flink 2.0 的重磅研究成果《Disaggregated State Management in Apache Flink 2.0 》被数据库领域顶级会议 VLDB 2025 正式接收&#xff01;这项工作由 Apache Flink 社区 联合 阿里巴巴实时计算 Flink 团队 以及多位学术界研究人员共同完成&…

蓄电池能量管理matlab的simulink仿真

蓄电池能量管理matlab的simulink仿真模型 AlternatorTableData.mat , 7395 Battery_Management_Lib.mdl , 577258 Readme.txt , 1293 license.txt , 1551 ssc_battery_management.mdl , 221248 ssc_lead_acid_battery_50Ah_ini.m , 1760 ssc_lead_acid_battery_80Ah_ini.m , 1…

MyBatisPlus-03-扩展功能

文章目录【README】【1】基于MyBatisPlus的代码生成器【2】MyBatisPlus-DB静态工具【2.1】使用MyBatisPlus的DB静态工具查询单个及多个用户地址【查询单个用户的访问效果】【查询多个用户的访问效果】【3】逻辑删除【3.1】代码实现【4】枚举处理器【4.1】代码实现【5】JSON处理…