Flink 的窗口机制

🪟 1. 基于时间驱动的滚动时间窗口(Tumbling Time Window - Time-based)

✅ 定义:

  • 每隔固定的时间周期开启一个新的窗口。
  • 窗口之间不重叠

🕒 示例:

DataStream<Tuple2<String, Integer>> windowedStream = stream.keyBy(keySelector).window(TumblingEventTimeWindows.of(Time.seconds(5))) // 每5秒一个窗口.sum(1);

🔍 特点:

属性描述
类型Keyed 或 Non-Keyed
时间戳依赖事件时间或处理时间
触发机制固定时间触发
应用场景统计每 N 秒的数据总量(如每分钟订单数)

🧊 2. 基于事件驱动的滚动时间窗口(Tumbling Count Window - Event-based)

✅ 定义:

  • 每收集固定数量的元素后触发一次窗口计算。
  • 不依赖时间,只依赖元素个数。

📏 示例:

DataStream<Tuple2<String, Integer>> windowedStream = stream.keyBy(keySelector).countWindow(10) // 每收到10条数据就触发一次计算.sum(1);

🔍 特点:

属性描述
类型Keyed 或 Non-Keyed
时间戳无时间概念,仅按元素数量划分
触发机制元素数量达到设定值
应用场景当数据量稳定但时间不确定时使用(如每100个传感器读数统计一次)

⏱️ 3. 基于时间驱动的滑动时间窗口(Sliding Time Window - Time-based)

✅ 定义:

  • 窗口每隔一定时间“滑动”一次,窗口长度固定。
  • 窗口之间有重叠

🕒 示例:

DataStream<Tuple2<String, Integer>> windowedStream = stream.keyBy(keySelector).window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5))) // 窗口长10s,每5s滑动一次.sum(1);

🔍 特点:

属性描述
类型Keyed 或 Non-Keyed
时间戳依赖事件时间或处理时间
触发机制固定时间间隔触发
应用场景需要连续、实时更新统计数据(如每5秒查看过去10秒的平均值)

📐 4. 基于事件驱动的滑动时间窗口(Sliding Count Window - Event-based)

✅ 定义:

  • 每隔固定数量的元素滑动一次窗口,窗口长度也以元素个数为单位。
  • 窗口之间可以部分重叠。

📏 示例:

DataStream<Tuple2<String, Integer>> windowedStream = stream.keyBy(keySelector).countWindow(10, 5) // 窗口包含10个元素,每5个元素滑动一次.sum(1);

🔍 特点:

属性描述
类型Keyed 或 Non-Keyed
时间戳无时间概念,仅基于元素数量
触发机制元素数量达到设定滑动步长
应用场景数据速率不均,需要定期更新统计(如每100个请求统计前200个的平均响应时间)

🛎️ 5. 会话窗口(Session Window)

✅ 定义:

  • 根据活动间隙(gap) 来划分窗口。
  • 如果两个元素之间的时间差超过设定的 gap,则属于不同的窗口。

🕒 示例:

DataStream<Tuple2<String, Integer>> windowedStream = stream.keyBy(keySelector).window(EventTimeSessionWindows.withGap(Time.minutes(1))) // 1分钟内无新事件视为会话结束.sum(1);

🔍 特点:

属性描述
类型Keyed 或 Non-Keyed
时间戳通常基于事件时间
触发机制检测到会话间隔(gap)
应用场景用户行为分析(如点击流、登录日志等),识别用户活跃时间段

📊 总结对比表

窗口类型划分依据是否重叠触发条件示例
滚动时间窗口时间时间到达TumblingEventTimeWindows.of(Time.seconds(5))
滚动计数窗口元素个数数量达到countWindow(10)
滑动时间窗口时间时间滑动SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5))
滑动计数窗口元素个数数量滑动countWindow(10, 5)
会话窗口事件间隔动态间隔超过gapEventTimeSessionWindows.withGap(Time.minutes(1))

✅ 选择建议

场景推荐窗口类型
实时监控每 N 秒汇总一次滚动时间窗口
数据按批次处理(如每100条)滚动计数窗口
需要平滑的实时指标(如移动平均)滑动时间窗口
数据频率不规则但需定期统计滑动计数窗口
分析用户行为(如点击流、登录会话)会话窗口

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/news/906569.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【RA-Eco-RA2L1-48PIN】ADC 电压表与OLED显示

【RA-Eco-RA2L1-48PIN】ADC 电压表与OLED显示 本文介绍了 RA-Eco-RA2L1-48PIN 开发板通过瑞萨 e2 Studio 灵活软件包&#xff08;FSP&#xff09;编程实现 ADC 串口采集电压和OLED显示电压数值的项目设计&#xff0c;包括串口电压值串口打印、硬件 IIC 通信协议配置、 OLED显示…

GraphQL在.NET 8中的全面实践指南

一、GraphQL与.NET 8概述 GraphQL是一种由Facebook开发的API查询语言&#xff0c;它提供了一种更高效、更灵活的替代REST的方案。与REST不同&#xff0c;GraphQL允许客户端精确指定需要的数据结构和字段&#xff0c;避免了"过度获取"或"不足获取"的问题。…

Elasticsearch 写入性能优化有哪些常见手段?

Elasticsearch 写入性能优化常见手段主要有以下 10 个方向&#xff0c;建议根据具体业务场景组合使用&#xff1a; 批量写入优化 使用_bulk API 批量提交文档建议每批次 5-15MB 数据量并发执行多个批量请求 索引配置调优 PUT /my_index {"settings": {"inde…

【图像大模型】基于深度对抗网络的图像超分辨率重建技术ESRGAN深度解析

基于深度对抗网络的图像超分辨率重建技术ESRGAN深度解析 一、技术背景与核心创新1.1 图像超分辨率技术演进1.2 核心技术创新对比 二、算法原理深度解析2.1 网络架构设计2.1.1 RRDB模块结构 2.2 损失函数设计2.2.1 对抗损失&#xff08;Adversarial Loss&#xff09;2.2.2 感知损…

第八天 搭建车辆状态监控平台(Docker+Kubernetes) OTA升级服务开发(差分升级、回滚机制)

前言 在智能网联汽车快速发展的今天&#xff0c;车辆状态监控和OTA&#xff08;Over-The-Air&#xff09;升级已成为智能汽车的核心能力。本文将手把手带你从零开始搭建基于云原生技术的车辆状态监控平台&#xff0c;并开发完整的OTA升级服务系统。无论你是刚接触容器技术的开…

五分钟学会如何封装Jsckson工具类

前言&#xff1a;在 Java 开发中&#xff0c;JSON 是一种非常常见的数据格式&#xff0c;而 Jackson 是处理 JSON 的主流库之一&#xff0c;为了提高代码的复用性、可维护性&#xff0c;我们通常会将 Jackson 的操作封装成一个工具类&#xff0c;简化使用。 ✨✨✨这里是秋刀鱼…

InternLM 论文分类微调实践(XTuner 版)

1.环境安装 我创建开发机选择镜像为Cuda12.2-conda&#xff0c;选择GPU为100%A100的资源配置 Conda 管理环境 conda create -n xtuner_101 python3.10 -y conda activate xtuner_101 pip install torch2.4.0cu121 torchvision torchaudio --extra-index-url https://downloa…

软考中级软件设计师——设计模式篇

一、设计模式核心分类 设计模式分为 3 大类&#xff0c;共 23 种模式&#xff08;考试常考约 10-15 种&#xff09;&#xff1a; 分类核心模式考试重点创建型模式工厂方法、抽象工厂、单例、生成器、原型单例模式的实现&#xff08;懒汉、饿汉&#xff09;、工厂模式的应用场…

小米2025年校招笔试真题手撕(一)

一、题目 小A每天都要吃a,b两种面包各一个。而他有n个不同的面包机&#xff0c;不同面包机制作面包的时间各不相同。第i台面包机制作a面包 需要花费ai的时间&#xff0c;制作b面包则需要花费bi的时间。 为能尽快吃到这两种面包&#xff0c;小A可以选择两个不同的面包机x&…

【微信小程序 + 高德地图API 】键入关键字搜索地址,获取经纬度等

前言 又到熟悉的前言&#xff0c;接到个需求&#xff0c;要引入高德地图api&#xff0c;我就记录一下&#xff0c;要是有帮助记得点赞、收藏、关注&#x1f601;。 后续有时间会慢慢完善一些文章&#xff1a;&#xff08;画饼时间&#xff09; map组件自定义气泡、mark标记点…

uni-app(2):页面

1 页面简介 uni-app项目中&#xff0c;一个页面就是一个符合Vue SFC规范的 vue 文件。 在 uni-app js 引擎版中&#xff0c;后缀名是.vue文件或.nvue文件。 这些页面均全平台支持&#xff0c;差异在于当 uni-app 发行到App平台时&#xff0c;.vue文件会使用webview进行渲染&…

Axure实战:智慧水务管理系统原型设计速览

本原型通过Axure构建覆盖生产到服务的全流程交互模型&#xff0c;聚焦"数据驱动智能决策"核心价值&#xff0c;助力水务企业实现管理效率提升与运营成本优化。 系统采用"13N"架构&#xff1a; 1个统一入口&#xff1a;集成单点登录与角色动态权限&#xff…

十二、Linux实现截屏小工具

系列文章目录 本系列文章记录在Linux操作系统下&#xff0c;如何在不依赖QT、GTK等开源GUI库的情况下&#xff0c;基于x11窗口系统&#xff08;xlib&#xff09;图形界面应用程序开发。之所以使用x11进行窗口开发&#xff0c;是在开发一个基于duilib跨平台的界面库项目&#x…

蓝桥杯分享经验

系列文章目录 提示&#xff1a;小白先看系列 第一章 蓝桥杯的钱白给吗 文章目录 系列文章目录前言一、自我介绍二、经验讲解:1.基础知识2.进阶知识3.个人观点 三、总结四、后续 前言 第十六届蓝桥杯已经省赛已经结束了&#xff0c;相信很多小伙伴也已经得到自己的成绩了。接下…

XC3588H搭载国产麒麟系统可用于政务/社保一体机吗?

答案是肯定的。 向成电子XC3588H搭载的国产银河麒麟系统和国产星光麒麟系统已完成适配&#xff0c;适用于政务服务、社保服务一体机的所有外设&#xff0c;运行稳定流畅。 在数字化政务快速发展的今天&#xff0c;政务服务终端的稳定性、安全性与高效性成为提升群众办事体验的关…

如何排查服务器 CPU 温度过高的问题并解决?

服务器CPU温度过高是一个常见的问题&#xff0c;可能导致服务器性能下降、系统稳定性问题甚至硬件损坏。有效排查和解决服务器CPU温度过高的问题对于确保服务器正常运行和延长硬件寿命至关重要。本文将介绍如何排查服务器CPU温度过高的问题&#xff0c;并提供解决方法&#xff…

物联网、云计算技术加持,助推楼宇自控系统实现智能高效管理

在建筑智能化发展的进程中&#xff0c;楼宇自控系统作为实现建筑高效管理的核心载体&#xff0c;正面临着数据海量复杂、设备协同困难、管理响应迟缓等挑战。而物联网与云计算技术的深度融合&#xff0c;为楼宇自控系统的升级提供了全新的解决方案&#xff0c;赋予其智能感知、…

uni-app使用大集

1、手动修改页面标题 uni.setNavigationBarTitle({title: 修改标题 }); 2、单选 不止有 radio-group&#xff0c;还有 uni-data-checkbox 数据选择器 <!-- html部分 --> <uni-data-checkbox v-model"sex" :localdata"checkboxList"></u…

(6)python爬虫--selenium

文章目录 前言一、初识selenium二、安装selenium2.1 查看chrome版本并禁止chrome自动更新2.1.1 查看chrome版本2.1.2 禁止chrome更新自动更新 2.2 安装对应版本的驱动程序2.3安装selenium包 三、selenium关于浏览器的使用3.1 创建浏览器、设置、打开3.2 打开/关闭网页及浏览器3…

基于OpenCV的人脸微笑检测实现

文章目录 引言一、技术原理二、代码实现2.1 关键代码解析2.1.1 模型加载2.1.2 图像翻转2.1.3 人脸检测 微笑检测 2.2 显示效果 三、参数调优建议四、总结 引言 在计算机视觉领域&#xff0c;人脸检测和表情识别一直是热门的研究方向。今天我将分享一个使用Python和OpenCV实现…