实时开发IDE部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

在这里插入图片描述
🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码
在这里插入图片描述

在这里插入图片描述
2.1 实时开发IDE基于开源项目Dinky建设
实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。
提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky
🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:
推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:
确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:
JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本
–Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包
在这里插入图片描述

在这里插入图片描述
4.1 功能概览
在这里插入图片描述

4.2 数据开发
在这里插入图片描述

4.3 数据同步-M2Sql
在这里插入图片描述

4.4 数据开发-实时ETL
在这里插入图片描述

4.5 数据同步-批处理任务SQL开发
在这里插入图片描述

4.6 数据开发-实时ETL
在这里插入图片描述
在这里插入图片描述

4.7 Dinky测试单表离线同步(Mysql2Doris)
在这里插入图片描述
在这里插入图片描述

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库
在这里插入图片描述
🔹目标Doris数据库6条数据库
在这里插入图片描述

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据
在这里插入图片描述

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅
在这里插入图片描述

🔹Flink Runtime Web
在这里插入图片描述
在这里插入图片描述

4.9 实时开发IDE-运维中心
在这里插入图片描述
在这里插入图片描述

4.10 运维中心-任务版本信息
在这里插入图片描述

4.11 运维中心-SQL血缘
在这里插入图片描述

4.12 注册中心-Flink实例
在这里插入图片描述

4.13 注册中心-集群管理
在这里插入图片描述

4.14 创建集群配置
在这里插入图片描述

4.15 注册中心-数据源管理
在这里插入图片描述

4.16 创建数据源
在这里插入图片描述

4.17 注册中心-告警策略管理
在这里插入图片描述

4.18 创建告警实例
在这里插入图片描述

4.19 创建告警组
在这里插入图片描述

4.20 告警模版
在这里插入图片描述

4.21 创建模版
在这里插入图片描述

4.22 告警策略
在这里插入图片描述

4.23 新建告警策略
在这里插入图片描述

4.24 文件
在这里插入图片描述

4.25 创建文档
在这里插入图片描述

4.26 创建全局变量
在这里插入图片描述

4.27 Cit 项目(Beta)
在这里插入图片描述

4.28 创建项目
在这里插入图片描述

4.29 注册中心-UDF模版管理
在这里插入图片描述

4.30 注册UDF
在这里插入图片描述

4.31 认证中心
在这里插入图片描述

4.32 认证中心-菜单管理
在这里插入图片描述

4.33 添加用户
在这里插入图片描述

4.34 修改用户
在这里插入图片描述

4.35 分配角色
在这里插入图片描述

4.36 修改密码
在这里插入图片描述

4.37 角色
在这里插入图片描述

4.38 创建角色
在这里插入图片描述

4.39 菜单
在这里插入图片描述

4.40 行权限-创建行权限
在这里插入图片描述

4.41 租户
在这里插入图片描述

4.42 创建租户
在这里插入图片描述

4.43 令牌-创建Token
在这里插入图片描述

4.44 配置中心
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.45 配置中心-Metrics配置管理
在这里插入图片描述

4.46 配置中心-类加载器管理-服务依赖检测
在这里插入图片描述

4.47 配置中心-系统日志-Root Logs
在这里插入图片描述

4.48 配置中心-系统日志-Log List
在这里插入图片描述

4.49 配置中心-类加载器 Jars
在这里插入图片描述

4.50 看板-创建仪表盘
在这里插入图片描述

在这里插入图片描述
5.1 依赖冲突
确保 JDK 和 Maven 版本与项目要求一致。
使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败
检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突
如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配
确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/88196.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/88196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入解析 RAGFlow:文件上传到知识库的完整流程

在 RAGFlow 这样的检索增强生成(RAG)系统中,知识库是其核心。用户上传的文档如何高效、可靠地转化为可检索的知识,是系统稳定运行的关键。今天,我们就来深入探讨 RAGFlow 中文件上传到知识库的完整流程,揭秘…

cad_recognition 笔记

Hubch/cad_recognition | DeepWiki https://github.com/Hubch/cad_recognition winget install python.python.3.10 python -m venv venv micromamba activate ./venv pip install paddleocr2.9.0 pip install poetry pip install moviepy1.0.3 下次要用conda建环境 或者…

基于odoo17的设计模式详解---构建模式

大家好,我是你的Odoo技术伙伴。在Odoo开发中,创建一个简单的记录可能只需要一行 self.env[res.partner].create({name: New Partner})。但如果我们要创建一个复杂的对象,比如一个包含了特定上下文、具有多个可选配置、并且需要执行一系列关联…

暑假算法日记第四天

目标​:刷完灵神专题训练算法题单 阶段目标📌:【算法题单】滑动窗口与双指针 LeetCode题目:2953. 统计完全子字符串1016. 子串能表示从 1 到 N 数字的二进制串其他: 今日总结 往期打卡 2953. 统计完全子字符串 跳转: 2953. 统计完全子字符串…

Linux 常用命令大全(2025简明版)

🧭 一、文件和目录操作命令说明ls列出目录内容ls -l以列表形式显示(含权限)cd /path切换目录pwd显示当前路径mkdir dir创建目录mkdir -p dir/subdir递归创建目录rm file删除文件rm -r dir删除目录(递归)rm -rf dir强制…

React Ref 指南:原理、实现与实践

前言 React Ref(引用)是React中一个强大而重要的概念,它为我们提供了直接访问DOM元素或组件实例的能力。虽然React推崇声明式编程和数据驱动的理念,但在某些场景下,我们仍需要直接操作DOM或访问组件实例。本文将深入探…

4.权重衰减(weight decay)

4.1 手动实现权重衰减 import torch from torch import nn from torch.utils.data import TensorDataset,DataLoader import matplotlib.pyplot as plt def synthetic_data(w,b,num_inputs):Xtorch.normal(0,1,size(num_inputs,w.shape[0]))yXwbytorch.normal(0,0.1,sizey.shap…

OpenCV开发-初始概念

第一章 OpenCV核心架构解析1.1 计算机视觉的基石OpenCV(Open Source Computer Vision Library)作为跨平台计算机视觉库,自1999年由Intel发起,已成为图像处理领域的标准工具。其核心价值体现在:跨平台性:支持…

LeetCode 930.和相同的二元子数组

给你一个二元数组 nums ,和一个整数 goal ,请你统计并返回有多少个和为 goal 的 非空 子数组。 子数组 是数组的一段连续部分。 示例 1: 输入:nums [1,0,1,0,1], goal 2 输出:4 解释: 有 4 个满足题目要求…

【论文解读】Referring Camouflaged Object Detection

论文信息 论文题目:Referring Camouflaged Object Detection 论文链接:https://arxiv.org/pdf/2306.07532 代码链接:https://github.com/zhangxuying1004/RefCOD 录用期刊:TPAMI 2025 论文单位:南开大学 ps&#xff1a…

Spring中过滤器和拦截器的区别及具体实现

在 Spring 框架中,过滤器(Filter) 和 拦截器(Interceptor) 都是用于处理 HTTP 请求的中间件,但它们在作用范围、实现方式和生命周期上有显著区别。以下是详细对比和实现方式:核心区别特性过滤器…

CANFD 数据记录仪在新能源汽车售后维修中的应用

一、前言随着新能源汽车市场如火如荼和新能源汽车电子系统的日益复杂,传统维修手段在面对复杂和偶发故障时往往捉襟见肘,CANFD 数据记录仪则凭借其独特优势,为售后维修带来新的解决方案。二、 详细介绍在新能源汽车领域,CANFD 数据…

某当CRM XlsFileUpload存在任意文件上传(CNVD-2025-10982)

免责声明 本文档所述漏洞详情及复现方法仅限用于合法授权的安全研究和学术教育用途。任何个人或组织不得利用本文内容从事未经许可的渗透测试、网络攻击或其他违法行为。使用者应确保其行为符合相关法律法规,并取得目标系统的明确授权。 前言: 我们建立了一个更多,更全的…

自然语言处理与实践

文章目录Lesson1:Introduction to NLP、NLP 基础与文本预处理1.教材2.自然语言处理概述(1)NLP 的定义、发展历程与应用场景(2)NLP 的主要任务:分词、词性标注、命名实体识别、句法分析等2.文本预处理3.文本表示方法:词向量表示/词表征Lesson2…

CSS揭秘:9.自适应的椭圆

前置知识:border-radius 用法前言 本篇目标是实现一个椭圆,半椭圆,四分之一椭圆。 一、圆形和椭圆 当我们想实现一个圆形时,通常只要指定 border-radius 为 width/height 的一半就可以了。 当我们指定的border-radius的值超过了 w…

善用关系网络:开源AI大模型、AI智能名片与S2B2C商城小程序赋能下的成功新路径

摘要:本文聚焦于关系在个人成功中的关键作用,指出关系即财富,善用关系、拓展人脉是成功的重要途径。在此基础上,引入开源AI大模型、AI智能名片以及S2B2C商城小程序等新兴技术工具,探讨它们如何助力个体在复杂的关系网络…

2025年渗透测试面试题总结-2025年HW(护网面试) 34(题目+回答)

安全领域各种资源,学习文档,以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具,欢迎关注。 目录 2025年HW(护网面试) 34 一、网站信息收集 核心步骤与工具 二、CDN绕过与真实IP获取 6大实战方法 三、常…

萤石全新上线企业AI对话智能体,开启IoT人机交互新体验

一、什么是萤石AI对话智能体?如何让设备听得到、听得懂?这次萤石发布的AI对话Agent,让设备能进行自然、流畅、真人感的AI对话智能体,帮助开发者打造符合业务场景的AI对话智能体能力,实现全双工、实时打断、可扩展、对话…

智绅科技:以科技为翼,构建养老安全守护网

随着我国老龄化进程加速,2025年60岁以上人口突破3.2亿,养老安全问题成为社会关注的焦点。智绅科技作为智慧养老领域的领军企业,以“科技赋能健康,智慧守护晚年”为核心理念,通过人工智能、物联网、大数据等技术融合&am…

矩阵系统源码部署实操指南:搭建全解析,支持OEM

矩阵系统源码部署指南矩阵系统是一种高效的数据处理框架,适用于大规模分布式计算。以下为详细部署步骤,包含OEM支持方案。环境准备确保服务器满足以下要求:操作系统:Linux(推荐Ubuntu 18.04/CentOS 7)硬件配…