Doris

Apache Doris(原名:Palo)是一个高性能、实时的MPP分析型数据库,非常适合海量数据的即席查询、报表分析、指标统计等 OLAP 场景。Doris 的设计目标是:极致查询性能、简单易用、支持高并发分析和明细查询


一、Doris 核心特点

特性说明
MPP 架构支持大规模分布式并行计算,横向扩展能力强
列式存储支持高压缩比,聚合类查询性能优异
高并发、低延迟查询支持上万并发,秒级查询响应
极简架构、易部署无需依赖 HDFS 或 YARN,单机即可运行
向量化执行引擎支持 SIMD 加速,提高 CPU 使用效率
支持实时更新支持流式数据导入(Kafka、Flume、Routine Load)
MySQL 协议兼容无缝对接 BI 工具、JDBC 直连、可视化友好
完备的多维建模能力支持宽表、星型/雪花建模

二、Doris 架构组成

                    +--------------------+|    FE(Frontend)  ||   元数据管理/调度   |+--------------------+|+---------------------+----------------------+|                    |                      |
+-------------+     +-------------+        +-------------+
|    BE-1     |     |    BE-2     |  ...   |    BE-n     |
| Backend 节点|     | 存储 + 计算 |        |             |
+-------------+     +-------------+        +-------------+- FE: 管理元数据、查询计划、调度
- BE: 实际执行查询、存储数据

三、数据导入方式

模式场景说明
Broker Load离线批量导入支持从 HDFS/OSS/OBS 加载
Stream Load实时小批量支持 HTTP 方式上传文件
Routine Load实时流式导入支持 Kafka 实时导入
Insert Into手动插入支持 SQL insert
DataX / Flink-Doris-Connector集成方案与离线/流处理框架结合

四、表模型类型

类型适合场景特点
Duplicate Key明细表所有数据原样存储,无聚合
Aggregate Key指标汇总支持聚合函数,如 SUM、MAX
Unique Key明细去重主键唯一,支持更新
Primary Key(新版)事务语义更强更好支持 UPSERT 更新操作

五、典型查询性能对比(以 1 亿行数据为例)

查询类型Doris 耗时传统 MySQL 耗时
条件聚合(SUM)0.2s10s+
分组聚合(GROUP BY)0.3s15s+
高并发(上万请求)支持容易 OOM
多维分析支持多表 JOIN 效率低

六、使用场景

类型描述
实时 BI 报表分析高并发、多维聚合统计
用户行为分析埋点日志分析、路径追踪
运维/日志监控秒级日志聚合、异常定位
指标平台建设PV/UV、DAU、留存率分析
数据中台查询引擎明细 + 汇总兼顾,替代传统 Hive
IoT 时序数据分析实时指标计算、大规模聚合

七、与 ClickHouse 对比

特性DorisClickHouse
架构复杂度简单(无依赖)中等
实时导入强(Kafka Routine Load)弱(写入延迟大)
更新能力支持更新/删除(Primary Key)不支持
查询性能优异优异(复杂 SQL 更好)
MySQL 兼容完全兼容部分支持
使用门槛中等偏高
社区活跃度Apache 顶级项目商业公司主导

八、生态集成

工具/平台是否兼容
BI 工具(如 Superset、FineBI)
Flink / Kafka / DataX
Grafana(SQL 数据源)
Spark / Hive 数据打通
Java 应用(JDBC)

九、简单示例:建表 + 查询

-- 建表
CREATE TABLE user_behavior (user_id BIGINT,event_type VARCHAR(20),event_time DATETIME
)
ENGINE=OLAP
DUPLICATE KEY(user_id, event_time)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("replication_num" = "1");-- 插入
INSERT INTO user_behavior VALUES (1001, 'click', '2024-05-10 10:00:00');-- 查询
SELECT event_type, COUNT(*) FROM user_behavior GROUP BY event_type;

十、适合 Doris 的技术选型建议

场景选型建议
实时明细查询 + BI 报表✅ Doris
多维指标统计 + 秒级响应✅ Doris
离线大数据批处理❌ 推荐 Hive/Trino
实时流计算 + 明细查询✅ Doris + Flink
实时埋点行为分析✅ Doris or ClickHouse

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/pingmian/81193.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

# 2-STM32F103-复位和时钟控制RCC

STM32-复位和时钟控制RCC 2-STM32-复位和时钟控制RCC摘要说明本文参考资料如下: 一、STM32最小系统回顾STM32F103C8T6核心板原理图 二、复位三、时钟3.1 时钟树3.2 STM32启动过程3.2 SystemInit()函数3.2.1 SystemInit()第1句:3.2.2 SystemInit()第2句&a…

rk3576 gstreamer opencv

安装gstreamer rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 Installing on Linux sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-pl…

Quic如何实现udp可靠传输

QUIC(Quick UDP Internet Connections)是由 Google 设计并被 IETF 标准化的传输层协议,它基于 UDP 实现,但提供了类似 TCP 的可靠性和更高级的功能(如多路复用、0-RTT 握手、TLS 加密等)。 尽管 UDP 是不可…

uniapp-商城-59-后台 新增商品(属性的选中,进行过滤展示,filter,some,every和map)

前面讲了属性的添加,添加完成后,数据库中已经存在数据了,这时再继续商品的添加时,就可以进行属性的选择了。 在商品添加过程中,属性选择是一个关键步骤。首先,界面需要展示嵌套的属性数据,用户通…

负载均衡 ELB 在 zkmall开源商城高流量场景下的算法优化

在电商大促、直播带货等高频交易场景下,流量突发增长对系统稳定性提出严峻挑战。ZKmll 开源商城通过对负载均衡 ELB(Elastic Load Balancer)算法的深度优化,结合业务场景特性设计动态加权轮询 地域感知 热点分流的混合策略&…

Linux干货(三)

前言 从B站黑马程序员Linux课程摘选的学习干货,新手友好!若有侵权,会第一时间处理。 目录 前言 1.which find命令 1.which命令 2.find命令 2.grep wc 管道符 1.grep命令 2.wc命令 3.管道符 3.echo tail 重定向符 1.echo命令 2.反…

Sigmoid与Softmax:从二分类到多分类的深度解析

Sigmoid与Softmax:从二分类到多分类的深度解析 联系 函数性质:二者都是非线性函数 ,也都是指数归一化函数,可将输入值映射为0到1之间的实数 ,都能把输出转化成概率分布的形式,在神经网络中常作为激活函数使用。Softmax是Sigmoid的推广:从功能角度看,Softmax函数可视为…

文件系统交互实现

关于之前的搭建看QT控件文件系统的实现-CSDN博客,接下来是对本程序的功能完善,我想着是这样设计的,打开一个目录以后,鼠标选中一个项可以是目录,也可以是文件,右键可以出现一个菜单选择操作,比如…

[ctfshow web入门] web75

信息收集 启用了open_basedir,所以之前的方法又不能用了 解题 cforeach(new DirectoryIterator("glob:///*") as $a){echo($a->__toString(). ); } ob_flush();cif ( $a opendir("glob:///*") ) {while ( ($file readdir($a)) ! false …

Vulfocus靶场-文件上传-3

WSO2 文件上传 (CVE-2022-29464) WSO2是一家成立于 2005 年的开源技术提供商。它提供了一个企业平台,用于在本地和整个 Internet 上 集成应用程序编程接口(API)、应用程序和 Web 服务。 某些 WSO2 产品允许无限制的文件上传和远程代码执行。…

基于MCP的桥梁设计规范智能解析与校审系统构建实践

引言 今天本文准备盘一个大活,聊一聊偏特定行业一点的AI技术深入应用思考及实践。 一、传统设计行业项目背景与行业痛点 在桥梁设计领域,标准规范是设计的基础,直接关系到桥梁结构的安全性、耐久性和经济性。然而,传统的规范应…

远程连接电脑的方法?异地远程桌面连接和三方软件实现

远程连接电脑,是指通过网络技术,在一台设备上操控另一台设备的电脑桌面,实现跨地域的操作和管理。在日常工作、技术支持、远程办公等场景中,远程连接电脑都发挥着重要作用。实现远程连接电脑主要有系统自带工具和第三方软件两种方…

win11 安装 wsl ubuntu 18.04后换源失败!

记录几个问题是如何解决的。 一 下载wsl后,有报错: Installing, this may take a few minutes... WslRegisterDistribution failed with error: 0x8007019e Error: 0x8007019e ??????? Linux ? Windows ???? Press any key to continue... …

PY32系列单片机离线烧录器,可配置选项字节和上机台批量烧录

PY32离线烧录器采用 MINI-USB 接口,提供稳定的物理连接。设备与电脑采用串口方式通讯,波特率固定为 1M。需配合我们的上位机使用。PY32离线烧录器现支持芯片型号在PY32F002A/002B/002/003/030/071/072/040/403/303各封装和XL32F001/003。烧录器仅提供 3.…

深入理解 this 指向与作用域解析

引言 JavaScript 中的 this 关键字的灵活性既是强大特性也是常见困惑源。理解 this 的行为对于编写可维护的代码至关重要,但其动态特性也会让我们感到困惑。 与大多数编程语言不同,JavaScript 的 this 不指向函数本身,也不指向函数的词法作…

# IntelliJ IDEA企业版开发入门:包、类与项目结构详解

--- ## 一、项目结构与包的概念 ### 1. 标准项目目录解析 在IntelliJ IDEA中,一个Java项目通常包含以下核心目录: - **src**:源代码根目录。 - **main**:主代码目录,存放业务逻辑代码。 - **java**:Java…

NGINX 开源与社区动态:从基石到浪潮,持续演进的生态力量

NGINX 之所以能够成为全球应用最为广泛的 Web 服务器和反向代理软件之一,其成功的核心驱动力无疑是开源。开放的源代码、活跃的社区参与以及透明的开发过程,共同铸就了 NGINX 的辉煌。然而,正如所有大型开源项目一样,NGINX 的开源之路也并非一帆风顺,其社区动态也时常涌现…

Electron(一)

前言: 参考尚硅谷视频记录:b站尚硅谷视频-1小时上手electron 一、什么是electron? 是一款应用广泛的、跨平台的、桌面应用开发框架。 应用广泛:很多桌面应用都是这个框架写的,例如腾讯qq、百度云跨平台:跨window、…

AI Agent开发第64课-DIFY和企业现有系统结合实现高可配置的智能零售AI Agent(上)

开篇 我们之前花了将近10个篇章讲Dify的一些基础应用,包括在讲Dify之前我们讲到了几十个AI Agent的开发例子,我不知道大家发觉了没有,在AI Agent开发过程中我们经常会伴随着这样的一些问题: 需要经常改猫娘;需要经常改调用LLM的参数,甚至在一个流程中有3个节点,每个节点…

ssti刷刷刷

[NewStarCTF 公开赛赛道]BabySSTI_One 测试发现过滤关键字,但是特殊符号中括号、双引号、点都能用 可以考虑拼接或者编码,这里使用拼接 ?name{{()["__cla"~"ss__"]}}?name{{()["__cla"~"ss__"]["__ba&…