CONDA:用于 Co-Salient 目标检测的压缩深度关联学习(总结)

摘要

一 介绍

二 有关工作

三 提出的方法

图2:我们的凝聚式深度关联(CONDA)模型的整体流程图。具体来说,凝聚式深度关联(CONDA)模型首先利用图像特征来计算超关联。然后,全像素超关联由对应诱导关联凝聚(CAC)模块进行凝聚,并输入到聚合网络中,以获得深度关联特征。这些特征随后在特征金字塔网络(FPN)解码器过程中用于最终的预测。为简洁起见,图中仅展示了三张相关图像。

问题一:这张图的流程是什么?

这张图展示的是 ​​CONDA模型(Correspondence-induced Association Network for Dense Prediction)​​ 的完整工作流程,其核心是通过 ​​超关联计算(HAC)→ 对应诱导关联凝聚(C

AC)→ 聚合网络(Agg)​​ 的三阶段处理,实现多图像间的深度关联特征提取与预测。

1. 输入与特征提取​

  • ​输入图像​​:三张不同场景的图像(如水果、室内、手部),尺寸统一为 H×W×3。

  • ​特征提取​​:

    • 通过共享权重的 ​​骨干网络​​(如ResNet)提取多尺度特征:

      • 输出特征图 (浅层细节)和 (高层语义),尺寸分别为和 


​2. 超关联计算(HAC: Hyperassociation Calculation)​

  • ​功能​​:计算图像内所有像素间的全局关联矩阵,捕捉长程依赖关系。

  • ​操作流程​​:

    1. 对特征图  和  分别展开为像素向量 (尺寸 N×C,N=HW/4 或 HW/16)。

    2. 通过矩阵乘法生成关联矩阵 A(图中标注 A5 和 A4):

    3. 输出多尺度超关联图 A5(来自 ​)和 A4(来自 ​)。


​3. 对应诱导关联凝聚(CAC: Correspondence-induced Association Condensation)​

  • ​功能​​:对超关联矩阵进行稀疏化凝聚,保留强关联区域。

  • ​子步骤​​(对应下半部分详解):

    1. ​初始凝聚(Initial Condensation)​​:对关联矩阵 A 按行取Top-k值,生成稀疏矩阵 A′。

    2. ​最大相似性选择(Max-Similarity Selection)​​:筛选每行最大关联值对应的像素对,形成初始关联对集合 P。

    3. ​关联诱导特征增强(Association-induced Feature Enhancement)​​:对关联对 P 的特征进行加权融合(图中 ⊕ 表示逐元素加):

    4. ​最终凝聚(Final Condensation)​​:输出优化后的稀疏关联特征 F3​ 和 F4′​。


​4. 聚合网络(Agg: Aggregation Network)​

  • ​功能​​:融合多尺度关联特征,生成深度关联表示。

  • ​操作​​:

    • 将 F3​、F4′​ 和原始特征 F2​、F4​ 通过跨尺度连接(图中灰色箭头)输入聚合网络。

    • 输出统一的高维特征 Fagg​(尺寸 4H​×4W​×4C)。


​5. 预测生成(FPN Decoder & PAG)​

  • ​FPN Decoder​​:基于特征金字塔结构上采样 Fagg​,逐步恢复空间分辨率至 H×W。

  • ​PAG(聚合生成)​​:通过跳跃连接融合浅层特征 F2​,生成最终预测图(如云朵状概率图或白色轮廓掩码)。


​6. 输出与监督​

  • ​输出形式​​:

    • 三张预测图(与输入对应),形式可能为:

      • 云朵状概率图(低置信度区域模糊化)。

      • 二值化轮廓掩码(高置信度区域锐化)。

  • ​损失函数​​:结合交叉熵损失(CE)和Dice损失优化边界精度。


​7. 关键设计亮点​

  1. ​跨图像关联建模​​:HAC和CAC模块显式建模像素级长程依赖,适用于多图像协同分析。

  2. ​动态稀疏化​​:CAC通过Top-k选择保留强关联,提升计算效率。

  3. ​多尺度融合​​:Agg网络整合不同层级特征,兼顾细节与语义。


​8. 图示符号对照表​

3.1 渐进的协会生成

3.2 对应诱导的关联凝结

3.3 对象感知周期的一致性损失

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/80146.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/80146.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

node.js 实战——(path模块 知识点学习)

path 模块 提供了操作路径的功能 说明path. resolve拼接规范的绝对路径path. sep获取操作系统的路径分隔符path. parse解析路径并返回对象path. basename获取路径的基础名称path. dirname获取路径的目录名path. extname获得路径的扩展名 resolve 拼接规范的绝对路径 const…

Kimi做内容社区,剑指小红书?

原创科技新知AI新科技组作者丨樱木编辑丨江蓠 主编丨九黎 对于当前融资形势并不明朗的大模型六小龙来说,该如何生存下去,似乎成了各家急需解决的问题。 根据PitchBook数据,今年一季度风险投资机构在中国AI领域共完成144笔交易,投…

opencv--图像滤波

图像滤波 含义 方法 噪声是怎么产生的 线性滤波 概念 利用窗口对图像中的像素进行加权求和的滤波方式。 图像来源于小虎教程。 图像的滤波是二维滤波的过程。 滤波器窗口: 滤波器窗口(也称为卷积核或模板)是一个小的矩阵(通常为…

Java 实现SpringContextUtils工具类,手动获取Bean

SpringContextUtils 工具类实现 下面是一个完整的 Spring 上下文工具类实现,用于从 Spring 容器中获取 Bean。这个工具类考虑了线程安全、性能优化和易用性,并提供了多种获取 Bean 的方式。 完整实现代码 import org.springframework.beans.BeansExce…

基于 Vue 2 开发的分页卡片列表组件(带懒加载和点击事件)

功能目标&#xff1a; CardList.vue 中支持分页&#xff0c;每页显示指定数量的卡片。添加“加载中”动画。支持懒加载&#xff1a;滚动到底部自动加载下一页。点击卡片的事件逻辑由 Card.vue 内部发出&#xff0c;并由 CardList 向上传递。 主页面文件 Home.vue <templat…

【数据结构和算法】6. 哈希表

本文根据 数据结构和算法入门 视频记录 文章目录 1. 哈希表的概念1.1 哈希表的实现方式1.2 哈希函数&#xff08;Hash Function&#xff09;1.3 哈希表支持的操作 2. Java实现 在前几章的学习中&#xff0c;我们已经了解了数组和链表的基本特性&#xff0c;不管是数组还是链表…

【python】如何将文件夹及其子文件夹下的所有word文件汇总导出到一个excel文件里?

根据你的需求,这里提供一套完整的Python解决方案,支持递归遍历子文件夹、提取Word文档内容(段落+表格),并整合到Excel中。以下是代码实现及详细说明: 一个单元格一个word的全部内容 完整代码 # -*- coding: utf-8 -*- import os from docx import Document import pand…

leetcode-位运算

位运算 371. 两整数之和 题目 给你两个整数 a 和 b &#xff0c;不使用 运算符 和 - &#xff0c;计算并返回两整数之和。 示例 1&#xff1a; 输入&#xff1a; a 1, b 2 输出&#xff1a; 3 示例 2&#xff1a; 输入&#xff1a; a 2, b 3 输出&#xff1a; 5 提示&am…

飞帆控件:在编辑模式下额外加载的库

飞帆是一个自由的控件设计平台。在飞帆中&#xff0c;我们可以很方便地创建基于 Vue 2 组件的控件&#xff0c;并使用控件来搭建网页。 他山之石&#xff0c;可以攻玉。在创建控件中&#xff0c;使用 js 、css 依赖库能让我们的控件更强大。 有些时候&#xff0c;在编辑模式下…

GPLT-2025年第十届团体程序设计天梯赛总决赛题解(共计266分)

今天偶然发现天梯赛的代码还保存着&#xff0c;于是决定写下这篇题解&#xff0c;也算是复盘一下了 L1本来是打算写的稳妥点&#xff0c;最后在L1-6又想省时间&#xff0c;又忘记了insert&#xff0c;replace这些方法怎么用&#xff0c;也不想花时间写一个文件测试&#xff0c…

编码转换器

大批量转换编码 可以将整个工程文件夹从GB18030转为UTF-8 使用Qt C制作 项目背景 比较老的工程&#xff0c;尤其是keil嵌入式的工程&#xff0c;其文本文件&#xff08;.c、.cpp、.h、.txt、……&#xff09;编码为gb2312&#xff0c;这为移植维护等带来了不便。现在uit-8用…

STL 核心模块

很好&#xff01;你想深入 STL&#xff08;Standard Template Library&#xff09;和容器算法&#xff0c;是学习 C 非常关键的一步。下面我给你整理一份STL 容器 算法的入门指南&#xff0c;适合从零起步掌握这部分内容。 &#x1f31f; 一、STL 核心模块 STL 分为三大块&am…

2024沈阳区域赛,D - Dot Product Game

题目链接 树状数组求逆序对 #include<bits/stdc.h> using namespace std; using lllong long; typedef pair<int,int>PII; typedef priority_queue<int> upq; typedef priority_queue<int,vector<int>,greater<int>> dpq; const int M99…

简易博客点赞系统实现

简易博客点赞系统 好久没写 Java 了&#xff0c;整个简单的项目进行康复训练。 基于 Spring Boot SSM MySQL Mybatis-Plus Knife4j Swagger 的一个简易博客点赞系统 开源地址&#xff1a;https://github.com/FangMoyu/simple-thumb 功能 登录获取当前登录用户获取博客…

一个既简单又诡异的问题

public class DaYaoGuai {static String s;public static void main(String[] args) {Thread t1 new Thread(){Overridepublic void run() {try {Thread.sleep(1000);} catch (InterruptedException e) {throw new RuntimeException(e);}s"深圳";}};t1.start();Thre…

使用docker在manjaro linux系统上运行windows和ubuntu

因为最近项目必须要使用指定版本的solidworks和maxwell&#xff08;都只能在win系统上使用&#xff09;, 且目前的ubuntu容器是没有桌面的&#xff0c;导致我运行不了一些带图形的ros2功能。无奈之下&#xff0c;决定使用docker-compose写一下配置文件&#xff0c;彻底解决问题…

Elasticsearch中的_source字段讲解

_source 在 Elasticsearch 查询中用于限制返回的字段,类似于 SQL 中的 SELECT 指定列。 代码示例: esSearchResults = es_service.search_documents({"query": {"terms": {"file_id":

【论文阅读20】-CNN-Attention-BiGRU-滑坡预测(2025-03)

这篇论文主要探讨了基于深度学习的滑坡位移预测模型&#xff0c;结合了MT-InSAR&#xff08;多时相合成孔径雷达干涉测量&#xff09;观测数据&#xff0c;提出了一种具有可解释性的滑坡位移预测方法。 [1] Zhou C, Ye M, Xia Z, et al. An interpretable attention-based deep…

C++ 的 IO 流

&#x1f4ac; &#xff1a;如果你在阅读过程中有任何疑问或想要进一步探讨的内容&#xff0c;欢迎在评论区畅所欲言&#xff01;我们一起学习、共同成长~&#xff01; &#x1f44d; &#xff1a;如果你觉得这篇文章还不错&#xff0c;不妨顺手点个赞、加入收藏&#xff0c;并…

spring cloud gateway前面是否必须要有个nginx

在 **"客户端 → Nginx (前置限流) → Spring Cloud Gateway → 微服务(Sentinel 熔断限流)"** 的架构中&#xff0c;**Spring Cloud Gateway 前面并不强制要求必须有 Nginx**&#xff0c;是否需要取决于具体场景。以下是详细分析&#xff1a; 一、必须使用 Nginx 的…