webrtc弱网-OveruseFrameDetector源码分析与算法原理

一、核心功能
  • CPU负载检测:监控视频帧的捕获、编码、发送全流程耗时,实时计算CPU使用率

  • 自适应决策:基于CPU使用率阈值触发视频质量调整(降级/升级)

  • 多策略支持:提供新旧两套CPU负载估计算法,支持实验性参数配置

  • 指标上报:通过CpuOveruseMetricsObserver接口反馈性能数据

二、核心算法原理
  1. 负载估算算法

    • 旧算法(SendProcessingUsage1)

      // 基于指数滤波的帧处理时间/帧间隔时间比率
      usage_percent = 100 * filtered_processing_ms / filtered_frame_diff_ms
    • 新算法(SendProcessingUsage2)

      // 基于时间常数的指数平滑:load <-- x/d * (1-exp(-d/T)) + exp(-d/T)*load
      double tau = options_.filter_time_ms * 0.001;
      double e = diff_time / tau;
      double c = (e < 0.0001) ? (1-e/2)/tau : -expm1(-e)/diff_time;
      load_estimate_ = c * encode_time + exp(-e) * load_estimate_;
  2. 过载决策逻辑

    // 过载条件:连续高阈值检测
    bool OveruseFrameDetector::IsOverusing(int usage_percent) {return (usage_percent >= options_.high_threshold) && (++checks_above_threshold_ >= options_.high_threshold_consecutive_count);
    }// 低载条件:低于阈值 + 冷却时间
    bool IsUnderusing(int usage_percent, int64_t time_now) {return (usage_percent < options_.low_threshold) && (time_now > last_rampup_time_ms_ + current_rampup_delay_ms_);
    }
三、关键数据结构
struct CpuOveruseOptions { // 核心配置参数int high_encode_usage_threshold_percent = 85; // 过载阈值(85%)int low_encode_usage_threshold_percent = 42;  // 低载阈值(高阈值的1/2)int frame_timeout_interval_ms = 1500;         // 帧超时判定时间int min_frame_samples = 120;                  // 最小采样帧数
};struct FrameTiming { // 帧时序追踪(旧算法)int64_t capture_time_us;  // 原始捕获时间uint32_t timestamp;       // 帧时间戳int64_t capture_us;       // 首次进入系统时间int64_t last_send_us;     // 发送完成时间
};// 状态机标识(测试注入器)
enum class State { kNormal, kOveruse, kUnderuse };
四、核心方法详解
  1. 帧生命周期管理

    void FrameCaptured(bool is_preprocess, uint32_t timestamp, const VideoFrame& frame, int64_t time_when_first_seen_us) {// 重置条件:分辨率变化(1280x720->640x480)或帧超时(>1500ms)if (FrameSizeChanged(...) || FrameTimeoutDetected(...)) ResetAll(...);// 记录帧进入系统的时间点usage_->FrameCaptured(..., time_when_first_seen_us, last_capture_time_us_);last_capture_time_us_ = time_when_first_seen_us;
    }void FrameSent(..., absl::optional<int> encode_duration_us) {// 计算实际编码耗时(支持外部传入或内部计算)duration_us = usage_->FrameSent(..., capture_time_us, encode_duration_us);// 上报编码耗时指标if (duration_us) EncodedFrameTimeMeasured(*duration_us / 1000);
    }
  2. 动态调整机制

    void CheckForOveruse(OveruseFrameDetectorObserverInterface* observer) {// 过载处理:指数退避延迟算法if (IsOverusing(*usage_percent_)) {current_rampup_delay_ms_ *= kRampUpBackoffFactor; // 延迟翻倍(最大240s)observer->AdaptDown(); // 触发降级决策} // 低载处理:快速恢复机制else if (IsUnderusing(*usage_percent_, now_ms)) {in_quick_rampup_ = true;observer->AdaptUp(); // 触发升级决策}
    }
五、设计亮点
  1. 双算法热切换

    // 根据filter_time_ms配置自动选择算法
    std::unique_ptr<ProcessingUsage> CreateProcessingUsage(...) {return (options.filter_time_ms > 0) ? std::make_unique<SendProcessingUsage2>(options) :std::make_unique<SendProcessingUsage1>(options);
    }
  2. 测试注入器模式

    // 通过字段试验模拟过载场景(WebRTC-ForceSimulatedOveruseIntervalMs)
    OverdoseInjector::Value() {switch(state_) {case State::kOveruse: return 250; // 强制返回250%使用率case State::kUnderuse: return 5;  // 强制返回5%使用率default: return usage_->Value();}
    }
  3. 抗抖动设计

    • 帧间隔时间上限约束:max_sample_diff_ms_ = (1000/fps)*1.35

    • 最小采样帧数限制:min_frame_samples=120

    • 连续阈值检测机制:high_threshold_consecutive_count=2

六、典型工作流程

注释精要

// 帧捕获处理(核心逻辑)
void OveruseFrameDetector::FrameCaptured(...) {// 重置条件检查:分辨率变化或帧超时if (FrameSizeChanged(frame.width() * frame.height()) || FrameTimeoutDetected(time_when_first_seen_us)) {ResetAll(frame.width() * frame.height()); // 重置统计状态}// 区分预处理器/编码器场景if(is_preprocess) {frame_timing_.push_back(FrameTiming(frame.timestamp_us(), timestamp, ...));} else {  frame_timing_.push_back(FrameTiming(frame.timestamp_us(), frame.timestamp(), ...));}
}// 过载检测算法(策略核心)
void OveruseFrameDetector::CheckForOveruse(...) {// 过载处理:指数退避延迟if (IsOverusing(*usage_percent_)) {if (now_ms - last_rampup_time_ms_ < kStandardRampUpDelayMs) {current_rampup_delay_ms_ *= kRampUpBackoffFactor; // 延迟翻倍if (current_rampup_delay_ms_ > kMaxRampUpDelayMs) // 上限240scurrent_rampup_delay_ms_ = kMaxRampUpDelayMs;}observer->AdaptDown(); // 触发降级} // 低载处理:快速恢复else if (IsUnderusing(*usage_percent_, now_ms)) {last_rampup_time_ms_ = now_ms;in_quick_rampup_ = true; // 启用快速恢复模式observer->AdaptUp(); // 触发升级}
}

该设计通过多算法支持、动态阈值调整和状态机管理,实现了高效的CPU负载感知和视频质量自适应控制,在WebRTC中为实时视频通信提供了关键QoS保障能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/92312.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/92312.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Cloud系列—Eureka服务注册/发现

上篇文章&#xff1a; Spring Cloud系列—简介https://blog.csdn.net/sniper_fandc/article/details/149936339?fromshareblogdetail&sharetypeblogdetail&sharerId149936339&sharereferPC&sharesourcesniper_fandc&sharefromfrom_link 在上篇文章中&…

QUdpSocket 详解:从协议基础、通信模式、数据传输特点、应用场景、调用方式到实战应用全面解析

前言 在网络通信的世界里&#xff0c;UDP 协议以其独特的 “快准狠” 特性占据着一席之地。作为 Qt 框架中 UDP 协议的封装者&#xff0c;QUdpSocket 为开发者提供了便捷高效的网络编程接口。​ 一、UDP 协议基础&#xff1a;QUdpSocket 的 历史 要理解 QUdpSocket&#xff0c;…

vue中reactive()和ref()的用法

在 Vue 3 的 Composition API 里&#xff0c;reactive() 和 ref() 都是用来把「普通数据」变成「响应式数据」的函数。 一句话区别&#xff1a; reactive() 只能包裹对象/数组&#xff1b;ref() 可以包裹任何类型&#xff0c;但在 模板 里读取时&#xff0c;不需要 .value。 下…

【公考基础】----备考规划篇

公考 公考&#xff1a;国家公务员考试 即&#xff1a;国考和省考 或 参公考试 包括但不限于&#xff1a;国考、省考、事业单位招考、教师招聘考试、军队文职招考等&#xff0c;一切进入国家党政军事业单位的考试。 考公整体流程 备考前&#xff1a;准备备考资料&#xf…

STM32江科大学习笔记,全功能按键非阻塞式实现,按键点击,双击,长按

目录 一、前言 二、关于实现非阻塞的办法 2.1 中断类型的选择 2.2 定时器中断 二、程序流程图 2.1 状态S0空闲状态 2.2 状态S1按键判断长按还是其他的事件 2.3 状态S2按键判断双击或者单击 2.4 状态S3按键已双击状态 2.5 状态S4长按状态 三、编写代码 3.1 按键初始…

动态代理常用的两种方式?

口语化回答好的&#xff0c;面试官&#xff0c;动态常见的两种&#xff0c;一种是 jdk 动态代理&#xff0c;一种是 cglib 动态代理&#xff0c;两者的最主要区别是 jdk 动态代理主要是依赖于接口创建代理对象&#xff0c;cglib 是通过生成子类的方式&#xff0c;不需要接口&am…

StarRocks vs ClickHouse:2025 年 OLAP 引擎终极对比指南

StarRocks 与 ClickHouse&#xff1a;高性能 OLAP 引擎的两种选择在当今数据驱动的商业环境中&#xff0c;选择合适的分析型数据库对于企业数据战略至关重要。StarRocks 和 ClickHouse 作为两款领先的 OLAP&#xff08;在线分析处理&#xff09;引擎&#xff0c;各自拥有独特的…

RuoYi-Cloud 微服务本地部署详细流程实录(IDEA + 本地 Windows 环境)

本文以 RuoYi-Cloud 3.x 版本为例&#xff0c;开发工具用的是 IntelliJ IDEA&#xff0c;数据库为 MySQL 8.x&#xff0c;注册中心选用本地 Nacos 2.2.3&#xff0c;Redis 为 3.x/5.x 均可。亲测全流程可用&#xff0c;细节与官方文档略有不同&#xff0c;避免新手踩坑。 目录 …

2025年了,程序员转行还这么难?别愁!大模型这趟“顺风车”,你搭不搭?

在“大龄程序员的未来在何方”这篇文章里比较乐观地介绍了程序员保持竞争力的几个方向&#xff0c;但现实依然是残酷的&#xff1a;很多人将不得不离开软件开发工作&#xff0c;转型去从事其他职业。 当你要这么做时&#xff0c;就会感慨&#xff1a;想不到一切竟如此艰难&…

CEH、OSCP、CISP、CISSP 四大网络安全认证攻略

以下是 CEH、OSCP、CISP、CISSP 四大网络安全认证的详细对比&#xff0c;涵盖认证定位、考试难度、适用场景及职业方向&#xff0c;帮助你快速选择适合自己的证书&#xff1a;1. 核心区别速览认证发证机构定位 考试形式适合人群国际认可度CEHEC-Council道德黑客渗透测试基础选择…

SnapDevelop支持uni-app开发:跨平台与原生体验的完美融合

随着移动互联网的迅速发展&#xff0c;开发者面临着多平台需求和技术挑战。传统开发模式要求为每个平台编写独立代码&#xff0c;不仅浪费时间&#xff0c;还增加了维护难度。作为一款强大的低代码开发工具&#xff0c;SnapDevelop打破了这一局限&#xff0c;通过对uni-app的支…

海康威视相机,MVS连接成功,但无图像怎么办?

问题&#xff1a;准备一个常见的海康 相机去海康机器视觉官网下载MVS软件。打开软件&#xff0c;连接相机。显示连接成功&#xff0c;并能看到相机的信息。点击开始采集发现没有图像解决&#xff1a;右侧找到触发。1. 触发模式 ON2.选择 软触发3 启用自动触发点击采集有图像但一…

Linux systemd 系统管理:systemctl 控制服务与守护进程

Linux systemd 系统管理&#xff1a;systemctl 控制服务与守护进程系统启动过程 Linux 系统的启动过程遵循以下步骤&#xff1a; 开机自检&#xff1a;计算机启动后&#xff0c;BIOS/UEFI 进行硬件自检&#xff0c;确认硬件设备正常MBR 引导&#xff1a;从指定的启动设备读取主…

《Day2-PyTorch Tensor 从入门到实践:核心操作与避坑指南》

一、Tensor的创建 在Torch中张量以 "类" 的形式封装起来&#xff0c;对张量的一些运算、处理的方法被封装在类中&#xff0c;官方文档&#xff1a; torch — PyTorch 2.7 documentation 1. 基本创建方式 以下讲的创建tensor的函数中有两个有默认值的参数dtype和d…

两种格式数据介绍——bin 、 yuv文件

一、场景存储 通常指的是用于存储摄像头或传感器原始采集数据的文件格式&#xff0c;尤其是在自动驾驶、机器人、安防、工业视觉等需要记录真实世界场景的应用中。格式存储内容用途场景特点.binLiDAR点云、毫米波雷达数据、IMU、GPS、原始传感器帧自动驾驶仿真、SLAM建图、数据…

【网络运维】Linux:SELinux简介和配置

SELinux 介绍 SELinux 概述 文件权限控制了哪些用户或用户组可以访问哪些特定文件&#xff0c;但未限定用户访问文件的方式。 例如&#xff1a;对于文件的写入权限而言&#xff0c; 结构化数据文件是否应当设计为只能使用特定的程序写入&#xff0c;但其他编辑器仍可以打开和修…

GaussDB SQL执行计划详解

1 问题现象SQL执行计划是GaussDB性能分析及调优的核心&#xff0c;它输出三个关键信息&#xff1a;访问路径:扫描表数据的路径。连接顺序&#xff1a;多表连接顺序。连接方式&#xff1a;多表连接方式。2 技术背景GaussDB SQL语句执行计划是数据库为运行SQL语句而执行的操作步骤…

02.【数据结构-C语言】顺序表(线性表概念、顺序表实现:增删查、前向声明、顺序表实现通讯录项目:增删改查、通讯录数据导入及保存到本地文件)

目录 1. 线性表 2. 顺序表概念及分类 2.1 顺序表的概念 2.2 顺序表分类 2.3 动静态顺序表对比 3. 顺序表的实现&#xff08;附完整版代码&#xff09; 3.1 顺序表结构体声明 3.2 初始化&销毁 3.3 插入&#xff08;尾插、头插、指定位置之前插入&#xff09; 3.4 …

MyBatis核心配置深度解析:从XML到映射的完整技术指南

&#x1f527; MyBatis核心配置深度解析&#xff1a;从XML到映射的完整技术指南 &#x1f680; 引言&#xff1a;MyBatis作为Java生态中最受欢迎的持久层框架之一&#xff0c;其强大的配置体系是实现灵活数据访问的核心。本文将深入解析MyBatis的配置文件架构、映射机制以及高级…

OpenCV HSV与RGB颜色模型的区别

HSV与RGB颜色模型的区别 HSV&#xff08;Hue, Saturation, Value&#xff09;和 RGB&#xff08;Red, Green, Blue&#xff09;是两种不同的颜色表示方式&#xff0c;主要区别如下&#xff1a;对比项RGBHSV定义基于红、绿、蓝三原色的混合基于色相&#xff08;H&#xff09;、饱…