maxcomputer 和 hologres中的EXTERNAL TABLE 和 FOREIGN TABLE

在阿里云的大数据和实时数仓产品中,MaxCompute 和 Hologres 都支持类似于 EXTERNAL TABLE 和 FOREIGN TABLE 的机制,但它们的实现和语义有所不同。

下面分别说明:


☁️ 一、MaxCompute 中的 EXTERNAL TABLE 和 FOREIGN TABLE

1. EXTERNAL TABLE in MaxCompute

MaxCompute 的 EXTERNAL TABLE 是指外部表,用于读取 不属于 MaxCompute 本地存储的数据,主要用于对接外部数据源,比如:

  • OSS 文件(CSV、ORC、Parquet)
  • Hive 表(EMR)
  • 数据湖(如 Apache Iceberg)

它只是一个“映射”,不在 MaxCompute 中存储数据。

特点:

  • 数据不在 MaxCompute 中,而是存在外部系统
  • 常用于 “数仓 + 数据湖” 场景。
  • 适用于大规模历史数据冷数据)处理。

示例(OSS 外部表):

CREATE EXTERNAL TABLE oss_table (id BIGINT,name STRING
)
STORED BY 'com.aliyun.odps.CsvStorageHandler'
WITH SERDEPROPERTIES ('odps.properties.rolearn' = '<OSS角色ARN>','odps.properties.endpoint' = 'oss-cn-beijing.aliyuncs.com','odps.properties.bucket' = 'my-bucket','odps.properties.path' = 'path/to/data/'
);

2. FOREIGN TABLE in MaxCompute

MaxCompute 的 FOREIGN TABLE 是用来访问其他 数据库系统中的表数据,比如:

  • RDS(MySQL、PostgreSQL)
  • Hologres
  • AnalyticDB
  • PolarDB 等

它实际上通过 Data Integration 或 Federated Query 进行数据对接。

特点:

  • 用于跨数据源联邦查询(Federated Query)
  • 类似 PostgreSQL 中 FDW 的概念
  • 访问外部 OLTP/OLAP 数据库中的结构化数据
  • 可以通过 CREATE FOREIGN TABLE 语法定义映射

示例(访问 Hologres):

CREATE FOREIGN TABLE hologres_table (id BIGINT,name STRING
)
STORED BY 'com.aliyun.odps.FederatedStorageHandler'
WITH SERDEPROPERTIES ('odps.federated.source' = 'hologres','odps.federated.source.endpoint' = 'hg-cn-beijing.xxx.hologres.aliyuncs.com:80','odps.federated.source.database' = 'my_hologres_db','odps.federated.source.user' = 'my_user','odps.federated.source.password' = '******'
);

🚀 二、Hologres 中的 FOREIGN TABLE 和 EXTERNAL TABLE

Hologres 本身是基于 PostgreSQL 构建的高性能实时数据仓库,因此支持 PostgreSQL 风格的 FOREIGN TABLE。但其定义上并没有“EXTERNAL TABLE”的语法,而是将所有外部表统一称作 FOREIGN TABLE。

Hologres FOREIGN TABLE

Hologres 的 FOREIGN TABLE 用于访问外部数据源,比如:

  • MaxCompute(常见)
  • Object Storage Service (OSS)
  • AnalyticDB
  • Kafka(通过流表机制)
  • 本地 PostgreSQL 外表机制

Hologres 中定义 FOREIGN TABLE 的典型用途是访问 MaxCompute 表(用于实现实时+离线混合分析)。

示例(访问 MaxCompute 表):

CREATE FOREIGN TABLE mc_table (id BIGINT,name TEXT
)
SERVER odps_server
OPTIONS (project_name 'my_project',table_name 'my_odps_table',access_id 'xxx',access_key 'yyy',endpoint 'http://service.odps.aliyun.com/api'
);

特点:

  • FOREIGN TABLE 是对 MaxCompute 表的“轻映射”
  • 查询是按需、实时拉取数据(不落地)
  • 适合在实时数仓中联动离线仓数据(冷热分层)

📌 Hologres 中没有独立的 “EXTERNAL TABLE” 类型,统一通过 FOREIGN TABLE 实现联邦数据访问。


✅ 总结对比表(按平台)

平台

表类型

访问对象

是否存储数据

是否支持写入

典型用法

MaxCompute

EXTERNAL TABLE

OSS、数据湖、Hive

读取外部大数据文件(数据湖)

MaxCompute

FOREIGN TABLE

RDS、Hologres、AnalyticDB 等

部分支持

联邦查询,访问在线数据库系统

Hologres

FOREIGN TABLE

MaxCompute、OSS、A-DB、Kafka 等

实时访问外部数仓或流系统数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/84584.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/84584.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

稳定币:从支付工具到金融基础设施的技术演进与全球竞争新格局

引言&#xff1a;稳定币的崛起与金融体系重构 2025年6月&#xff0c;全球稳定币市值突破2500亿美元历史大关&#xff0c;单年链上交易额高达35万亿美元——这一数字已超越Visa和万事达卡交易总和。这一里程碑事件标志着稳定币已从加密货币市场的边缘实验&#xff0c;蜕变为重构…

用 HTML、CSS 和 jQuery 打造多页输入框验证功能

多页输入框验证功能总结:使用 HTML、CSS 和 jQuery 实现 一、多页表单验证的核心概念与应用场景 多页输入框验证是指将复杂表单拆分为多个页面或步骤,逐步引导用户完成输入,并在每一步对用户输入进行验证的功能。这种设计具有以下优势: 提升用户体验:避免长表单带来的心…

DeepSpeed 深度学习学习笔记:高效训练大型模型

主要参考官网文档&#xff0c;对于具体内容还需参考官方文档 1. 引言&#xff1a;为什么需要 DeepSpeed&#xff1f; 大型模型训练的挑战 随着深度学习模型规模的爆炸式增长&#xff08;从 BERT 的几亿参数到 GPT-3 的千亿参数&#xff0c;再到现在的万亿参数模型&#xff09…

编程基础:耦合

能帮到你的话&#xff0c;就给个赞吧 &#x1f618; 文章目录 耦合&#xff1a;功能的单一性&#xff0c;功能越拆分则单一功能越好维护 耦合&#xff1a;功能的单一性&#xff0c;功能越拆分则单一功能越好维护

基于Qt的UDP主从服务器设计与实现

概述 一个基于Qt框架实现的UDP主从服务器系统&#xff0c;该系统具备自动主机选举、故障转移和状态同步等关键功能&#xff0c;适用于分布式能源管理系统中的设备通信与协调。 系统核心功能 1. 自动主机选举与故障转移 系统通过优先级机制实现自动主机选举&#xff0c;当主机…

【51单片机2位数码管100毫秒的9.9秒表】2022-5-16

缘由 这一题刚设计好要去回复就看到结帖了&#xff0c;好似看到我设计完成就盗窃去了&#xff0c;如此下面类似题目很容易也懒得回复了。 #include "reg52.h" sbit k0P3^0; sbit k1P3^1; unsigned char code SmZiFu[]{63,6,91,79,102,109,125,7,127,111};//0-9 uns…

安装ClickHouse

安装ClickHouse ClickHouse是一个用于联机分析的列式数据库管理系统&#xff0c;主要用于在线分析处理查询&#xff08;OLAP&#xff09;&#xff0c;能够使用SQL查询实时生成分析数据报告。 ClickHouse是一个完全的列式数据库管理系统&#xff0c;允许在运行时创建表和数据库&…

PX4无人机集成自带的深度相机进行gazebo仿真

修改mavros_posix_sitl.launch文件 修改以下两行代码 <arg name"my_model" default"iris_depth_camera"/><arg name"sdf" default"$(find mavlink_sitl_gazebo)/models/$(arg my_model)/$(arg my_model).sdf"/>iris_dept…

正点原子STM32cubeide学习——TFTLCD(MCU 屏)实验

使用的是正点原子的精英版&#xff0c;单片机是STM32F103ZET6&#xff0c;使用开发板的 MCU 屏接口连接正点原子 TFTLCD 模块(仅限 MCU 屏模块)&#xff0c;实现 TFTLCD 模块的显示。通过把 LCD 模块插入底板上的 TFTLCD 模块接口&#xff0c;按下复位之后&#xff0c; 就可以看…

OpenCV实现二值图细化(骨架提取)

对二值图进行细化&#xff08;骨架提取&#xff09;&#xff0c;也就是把每根线条细化到一个像素的宽度。有两个比较成熟的算法实现此功能&#xff0c;分别是Zhang-Suen算法和Guo-Hall算法。 我们下面使用OpenCVSharp&#xff0c;使用C#实现上述两个算法&#xff1a; private…

历史的迷雾与传承的使命:应对历史篡改,守护中华文明

在历史的浩瀚长河中&#xff0c;中国以悠久的文明与灿烂的文化屹立于世界东方。然而&#xff0c;满清时期与西方势力出于各自目的对中国历史进行篡改&#xff0c;在真实历史的画卷上蒙上了层层迷雾。深入探究其背后的动机&#xff0c;思考当代人守护历史文化的使命&#xff0c;…

【Qt】QTableWidget表格右键菜单

效果 1. 给QTableWidget组件添加customContextMenuRequested信号 2. 槽函数 void dataDetailForm::on_tableWidget_customContextMenuRequested(const QPoint &pos) {QMenu menu;QAction *setEnd menu.addAction(tr("设置"));connect(setEnd, SIGNAL(triggered…

MySQL 数据处理函数全面详解

MySQL 数据处理函数全面详解 MySQL 中的数据处理函数,包含字符串、数值、日期、条件判断等核心函数: 一、字符串处理函数 1. 基础操作函数 函数描述示例结果CONCAT()字符串连接CONCAT(My,SQL)‘MySQL’CONCAT_WS()带分隔符连接CONCAT_WS(-,2023,08,15)‘2023-08-15’LENGTH…

领域驱动设计(DDD)【1】之初步理解

文章目录 一 DDD概述二 从“沉寂”到“爆火”&#xff1a;DDD的兴起背景与原因2.1 DDD早期沉寂的原因2.2 DDD近年爆火的原因2.3 总结 三 DDD深入理解3.1 方法论本质3.2 系统化价值3.3 思想内核3.4 实践转化3.5 总结 四 传统面向对象方法学和DDD4.1 传统面向对象方法学的问题4.2…

人工智能学习57-TF训练

人工智能学习概述—快手视频 人工智能学习57-TF训练—快手视频 人工智能学习58-TF训练—快手视频 人工智能学习59-TF预测—快手视频 训练示例代码 #导入keras.utils 工具包 import keras.utils #导入mnist数据集 from keras.datasets import mnist #引入tensorflow 类库 …

MySQL(83)如何设置密码复杂度策略?

在 MySQL 中&#xff0c;可以通过配置密码策略来设置密码的复杂度要求。MySQL 提供了一些参数和插件来帮助管理员强制实施密码复杂度策略&#xff0c;确保数据库用户使用强密码。下面将详细介绍如何设置密码复杂度策略&#xff0c;并结合代码示例进行说明。 1. 使用 validate_…

如何使用postman做接口自动化测试?

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 本文适合已经掌握 Postman 基本用法的读者&#xff0c;即对接口相关概念有一定了解、已经会使用Postman 进行模拟请求等基本操作。 工作环境与版本&#xff1a; …

面试-操作系统

用户态和内核态的区别 内核态&#xff1a;在内核态下&#xff0c;CPU可以执行所有的指令和访问所有的硬件资源。 用户态&#xff1a;在用户态下&#xff0c;CPU只能执行部分指令集&#xff0c;无法直接访问硬件资源。 内核态的底层操作主要包括&#xff1a;内存管理、进程管理…

【基础算法】二分(二分查找 + 二分答案)

文章目录 一、二分查找1. 【案例】在排序数组中查找元素的第一个和最后一个位置 ⭐(1) 二分查找的引入(2) 解题细节&#xff08;important&#xff09;(3) 代码示例(4) 【模板】二分查找(5) STL 中的二分查找 2. 牛可乐和封印魔法 ⭐⭐(1) 解题思路(2) 代码实现 3. A-B 数对 ⭐…

多协议物联网关的方案测试-基于米尔全志T536开发板

本文将介绍基于米尔电子MYD-LT536开发板&#xff08;米尔基于全志T536开发板&#xff09;的多协议物联网关方案的开发测试。 摘自优秀创作者-ALSET 米尔基于全志T536开发板 为了充分的应用该开发板&#xff0c;结合T536处理器的特点&#xff0c;这里进一步的进行软件开发&…