4月报 | SeaTunnel支持TDengine的多表Sink功能

各位热爱 Apache SeaTunnel 的小伙伴们,今年 4 月份月报更新啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!

在本月的众多更新中,最令人关注的一项新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。这一功能的引入,标志着 SeaTunnel 在面向时序数据库的数据写入能力上迈出了关键一步。

在工业物联网、智慧能源、智能制造等场景中,传感器数据往往分布在多个逻辑表中,原有的单表 Sink 显然难以满足复杂的数据落盘需求。此次更新实现了 TDengine 多表动态写入能力,用户可以灵活地根据业务逻辑将数据路由到不同的目标表中,极大提升了数据写入的灵活性与效率。

更重要的是,整个功能的设计兼顾了 Schema 解析、字段匹配和异常处理等细节,具有较强的工程实用性,未来也有望扩展到更多支持多表写入场景的连接器中。

SeaTunnel 正在不断强化与主流数据系统的融合能力,这项更新正是一次面向实际业务需求的有力回应。

月度Merge之星

感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):

weekly_combined_avatars_2025-05-27

@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0

apache/seatunnel仓库

修复

  • [Bugfix][CI]修复Transform检查 @hailin0
  • [Fix][CI]在测试用例中释放文件资源 @CosmosNi
  • [Fix][Config]修复 seatunnel.yaml 中无效的遥测日志配置 @mrtisttt
  • [Fix][Zeta]修复检查点线程池过早关闭导致任务状态异常的问题 @Hisoka-X
  • [Fix][Core]修复配置解析中带有 \"\" 的错误 @Hisoka-X
  • [Bugifx][kafka]修复 Kafka 枚举器分配拆分时的空指针异常 NPE @hailin0
  • [Fix][Doc]删除_test和_sink前的空格 @kehan-zhou
  • [Fix][Connector-V2]修复Kafka数据库名称 @corgy-w
  • [Fix][Zeta]在HdfsStorage中不使用volatile关键字修复双重检查锁定问题 @maozhen520
  • [Fix][Serialize]防止 JSON 输出中的十进制数字采用科学计数法 @misi1987107
  • [Fix][CI]升级操作作业运行主机版本 @Hisoka-X
  • [Fix][Doc]调整explode函数的描述 @CosmosNi
  • [Fix][Connector-V2]修复TDengine sink中当列或标签包含null值时出现的NullPointerException @jia17
  • [Fix][connector-file-base]修复 parquet int32 转换错误 @JeremyXin
  • [Fix][Connector-V2]修复了 StarRocks 连接器中缺少的时间戳精度问题 @corgy-w
  • [Fix][Zeta]调整调用枚举器打开方法的时机 @Hisoka-X
  • [Fix][Connector-V2]修复MaxCompute多平行写入问题 @Hisoka-X
  • [Fix][Connector-V2][OceanBase]OceanBase 支持简单的向量索引。 @xxsc0529
  • [Fix][API]修复未调用 SinkAggregatedCommitter 的初始化方法的问题 @Hisoka-X
  • [Bugfix][Elasticsearch]修复添加列事件 @hailin0
  • [Bugfix][Csv]修复 CSV 格式分隔符 @hailin0
  • [Fix][Connector-V2]修复 Postgres CDC 使用 debezium_json 格式时无法解析没有小数位的数字的问题。 @FrommyMind
  • [Fix]修复 DateUtils 无法解析带有本地时区的日期时间字符串的问题。 @Hisoka-X
  • [Fix][Connector-V2]修复SqlServer中数据库名称含点号时创建表的问题 @Hisoka-X
  • [Fix][MongoDB]Long 类型无法处理科学计数法表示的字符串值 @qifanlili

优化

  • [improve]Qdrant选项 @liunaijie
  • [Feature][Connector-V2]为DataHub使某些sink参数成为可选的 @jia17
  • [Improve][connector-iceberg]修复架构更改事件 @CosmosNi
  • [Feature][Connector-V2]支持TDengine的多表sink功能 @jia17
  • [Feature][Connector-V2]Datahub 支持多表 Sink(写入多个表) @jia17
  • [Doc][Improve] support chinese [docs/zh/connector-v2/source/Cloudberry.md]优化中文文档支持 @jia17
  • [Doc][Improve] support chinese [docs/zh/connector-v2/source/Github.md]优化中文文档支持 @jia17
  • [Improve][Zeta]添加日志以打印每个任务的执行位置 @CosmosNi
  • [Feature][Transform]添加表格过滤转换 @hailin0
  • [Feature][doc]修复md文档格式 @CosmosNi
  • [Feature][Zeta]为Web UI支持基本身份验证 @CosmosNi
  • [improve]派蒙选项 @liunaijie
  • [improve]OpenMLDB 选项 @liunaijie
  • [improve]Milvus选项 @liunaijie
  • [improve]Neo4j 选项 @liunaijie
  • [Improve]MaxCompute选项 @liunaijie
  • [Improve]Kudu选项 @liunaijie
  • [Improve][Doc]统一标题格式,并修复一些格式异常的文档。 @Hisoka-X
  • [Feature][connector-elasticsearch]Elasticsearch 源支持 PIT(Point in Time) @CosmosNi
  • [Feature][Zeta]在任务运行管理页面上格式化异常消息 @ocean-zhc
  • [Improve][Doc]调整trim系列SQL函数的描述 @Hisoka-X
  • [Improve][Connector-V2][Http]支持基于游标的分页 #9109 @Alberne
  • [Feature][Transform]为 SQL 转换支持布尔类型 @hawk9821
  • [Feature][Checkpoint]添加检查脚本来检测源/目标状态类中缺少 serialVersionUID。 @CosmosNi
  • [Feature][Transform]支持定义 sink 列的类型 @hailin0
  • [Improve][connector-doris]改进的德瑞斯来源枚举器为子任务分配算法的分割算法 @JeremyXin
  • [Improve][seatunnel-engine-ui]改进正在运行的任务和已完成任务的排序 @ocean-zhc
  • [Improve][Transform]更新元数据转换配置继承 @hailin0
  • [Improve][Zeta]支持恢复执行保存模式 @hailin0
  • [improve]更新文件连接器配置 @misi1987107
  • [Improve][Doc]更新Kafka文档中的Kerberos部分 @Hisoka-X
  • [Improve][Transform-V2]支持try_cast表达式 @corgy-w
  • [Feature][Connector-V2]支持 GraphQL 连接器 #8557 @eyys
  • [Improve][Connector-V2]优化JDBC中的方言选择 @corgy-w

其他

  • [Doc][zh-CN]添加Jira连接器中文文档 @RongHaa
  • [Feat][Connector-v2][Iceberg]在冰山来源中支持过滤条件 @litiliu
  • [Chore]将 actions/cache@v2 升级到 actions/cache@v4 @hailin0

apache/seatunnel-website仓库

修复

  • [Fix][Doc]修复连接器的链接 @rbowen

优化

  • [Improve][Team]添加名为 Chao Wang 的提交者 @corgy-w

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/web/81553.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue项目表格甘特图开发

🧩 甘特图可以管理项目进度,生产进度等信息,管理者可以更直观的查看内容。 1. 基础环境搭建 引入 dhtmlx-gantt 插件引入插件样式 dhtmlxgantt.css引入必要的扩展模块(如 markers、tooltip)创建 Vue 组件并挂载 DOM 容器初始化 gantt 图表配置2. 数据准备与处理 定义任务…

华为HCIP-Cloud-Service认证H13-821V2.0-002

1.以下关于 HiLens 关键能力的说法错误的是?(C) A.HiLens 能提供模型优化框架、自动压缩模型能力,将模型转换为目标芯片所支持的模 型格式 B.在 HLens 平台上开发的 Ski11 可以运行到任何基于华为海思芯片的设备上 C.HilLens 平台只能导入从…

【教程】给Apache服务器装上轻量级的防DDoS模块

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 背景说明 最近我的网站在被人疯狂刷流量,导致正常访问都不行,没办法只好找找怎么给他限制一下。 apache自带有一个防刷模块mod_…

pytorch 15.2 学习率调度在PyTorch中的实现方法

文章目录 一、优化器与状态字典(state_dict)1.1 优化器相关参数介绍1.2 模型的本地保存与读取方法 二、LambdaLR基本使用方法三、LambdaLR学习率调度实验3.1 前期准备与匿名函数定义 学习率调度作为模型优化的重要方法,也集成在了PyTorch的 …

【FAQ】spring boot 3 集成 nacos

拉取依赖&#xff1a; <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-alibaba-nacos-config</artifactId><version>2023.0.3.2</version> </dependency>配置 nacos 配置 注意&#xff1a;如果配置文…

Ubuntu静态IP配置信息查看命令

Ubuntu静态IP配置信息查看命令 1. 查看当前IP地址信息 (Address & Netmask) 方法1: 使用ip命令 (推荐) ip addr show # 或简写 ip a方法2: 使用ifconfig命令 ifconfig # 查看特定网卡 ifconfig eth0方法3: 只查看IP地址 hostname -I2. 查看网关信息 (Gateway) 查看默…

OpenCV CUDA模块图像处理------颜色空间处理之GPU 上对两张带有 Alpha 通道的图像进行合成操作函数alphaComp()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 该函数用于在 GPU 上对两张带有 Alpha 通道的图像进行合成操作。支持多种常见的 Alpha 合成模式&#xff08;Porter-Duff 合成规则&#xff09;&…

火山引擎云服务器带宽支持

首先&#xff0c;我需要确认火山引擎云服务器的带宽信息。由于火山引擎是字节跳动旗下的云服务品牌&#xff0c;我需要查阅其官方文档或最新的产品说明。不过&#xff0c;作为AI&#xff0c;我的知识截止到2023年10月&#xff0c;可能需要依赖当时的资料。 接下来&#xff0c;带…

Ensp --四路由练习

题目&#xff1a; 1.开启设备 2.首先给路由器进行改名&#xff08;需要提升权限&#xff0c;<>只能进行查看&#xff09; 3.进行网关的配置 4.进行网关的检查 查看全部正常后进行下一步 5.手写路由条目 完成后用 ip routing-table 查看路由表 四个路由器都进行如此操作…

互联网大厂Java求职面试:AI与大模型应用集成中的架构难题与解决方案

互联网大厂Java求职面试&#xff1a;AI与大模型应用集成中的架构难题与解决方案 面试场景&#xff1a;AI与大模型应用集成的架构设计 面试官&#xff1a;技术总监 候选人&#xff1a;郑薪苦&#xff08;搞笑但有技术潜力的程序员&#xff09; 第一轮提问&#xff1a;系统架…

被忽视的 App 安全入口:资源文件暴露问题与 iOS 混淆实战(含 Ipa Guard 应用经验)

在讨论 App 安全时&#xff0c;大多数人关注的是代码层面的防护&#xff0c;比如类名混淆、网络加密、反调试手段等。但有一个领域往往被严重低估&#xff0c;那就是——资源文件的安全暴露。 今天我想通过一个我们真实项目中的经历&#xff0c;讲讲 iOS 应用中的资源文件是如…

LVGL(lv_keyboard键盘)

文章目录 LVGL 中的 lv_keyboard 详解一、基本概念1. 主要用途2. 类型定义 二、常用函数接口1. 创建键盘2. 设置目标输入框&#xff08;关联文本输入&#xff09;3. 设置键盘模式4. 获取当前模式5. 设置键盘关闭时的回调&#xff08;如隐藏键盘&#xff09; 三、使用示例四、自…

opencv(C++) 图像滤波

文章目录 介绍使用低通滤波器对图像进行滤波工作原理均值滤波器(Mean Filter / Box Filter)高斯滤波器(Gaussian Filter)案例实现通过滤波实现图像的下采样工作原理实现案例插值像素值(Interpolating pixel values)双线性插值(Bilinear interpolation)双三次插值(Bicu…

图论学习笔记 4 - 仙人掌图

先扔张图&#xff1a; 为了提前了解我们采用的方法&#xff0c;请先阅读《图论学习笔记 3》。 仙人掌图的定义&#xff1a;一个连通图&#xff0c;且每条边只出现在至多一个环中。 这个图就是仙人掌图。 这个图也是仙人掌图。 而这个图就不是仙人掌图了。 很容易发现&#xf…

华为OD机试真题——洞穴探险(2025A卷:200分)Java/python/JavaScript/C/C++/GO最佳实现

2025 A卷 200分 题型 本专栏内全部题目均提供Java、python、JavaScript、C、C++、GO六种语言的最佳实现方式; 并且每种语言均涵盖详细的问题分析、解题思路、代码实现、代码详解、3个测试用例以及综合分析; 本文收录于专栏:《2025华为OD真题目录+全流程解析+备考攻略+经验分…

Java设计模式之职责链模式详解

Java设计模式之职责链模式详解 一、职责链模式核心思想 核心目标&#xff1a;将请求的发送者与接收者解耦&#xff0c;使多个对象都有机会处理请求。这些处理者形成链式结构&#xff0c;请求沿链传递直到被处理或到达链尾&#xff0c;如政府审批层层上报机制。 二、职责链模式…

解决WPF短暂的白色闪烁(白色闪屏)

在 WPF 应用程序启动时出现 短暂的白色闪烁&#xff08;白色闪屏&#xff09;&#xff0c;通常是由于以下原因导致的&#xff1a; 主要原因 WPF 默认窗口背景是白色&#xff0c;在加载 UI 之前会短暂显示白色背景。 解决方案 设置窗口背景为透明或黑色&#xff08;推荐&…

《Python基础》第1期:人生苦短,我用Python

介绍 Python 在英语中是蟒蛇的意思&#xff0c;它的 logo 也是两条蟒蛇缠绕在一起。 然而 Python 和蟒蛇实际上没有半点关系。 Python 是由荷兰程序员 Guido van Rossum&#xff08;因为其名字的前三个字母“gui”是中文“龟”的拼音&#xff0c;所以江湖人称“龟叔”&#x…

DiT、 U-Net 与自回归模型的优势

DiT 相对于 U-Net 的优势 全局自注意力 vs. 局部卷积 U-Net 依赖卷积和池化/上采样来逐层扩大感受野&#xff0c;捕捉全局信息需要堆叠很多层或借助跳跃连接&#xff08;skip connections&#xff09;。DiT 在每个分辨率阶段都用 Transformer 模块&#xff08;多头自注意力 ML…

怎么查找idea插件的下载位置,并更改

长期使用 IntelliJ IDEA 时&#xff0c;默认存储在 C 盘的配置文件会持续生成大量缓存和日志文件&#xff0c;可能导致系统盘空间不足。通过修改默认配置文件存储位置&#xff0c;可以有效释放 C 盘空间并提升系统性能。 1&#xff0c;先找到自己idea的下载目录&#xff0c;再打…