Node.js + Express的数据库AB View切换方案设计

方案总览

数据导入过程:    

- 根据控制表判断当前活跃组(假设当前活跃的是a,那么接下来要导入到b)。    

- 清空非活跃表(即b表)的数据,然后将新数据导入到b表。    

- 切换控制表,将活跃组改为b,这样新的查询就会使用view_b(指向table_b)。    

- 延迟1分钟后清空原来的活跃表(即a表)的数据。

系统设计

1. 数据库结构
-- 数据表
CREATE TABLE data_a (id SERIAL PRIMARY KEY, ...);
CREATE TABLE data_b (id SERIAL PRIMARY KEY, ...);-- 视图(始终指向活跃表)
CREATE OR REPLACE VIEW current_data AS SELECT * FROM data_a; -- 初始指向A表-- 控制表(关键元数据)
CREATE TABLE ab_control (id SERIAL PRIMARY KEY,active_group CHAR(1) NOT NULL CHECK (active_group IN ('a','b')),next_switch_time TIMESTAMP
);
INSERT INTO ab_control(active_group) VALUES ('a'); -- 初始状态--Powered by https://zhengkai.blog.csdn.net/
2. 状态流转逻辑
当前活跃组 | 操作步骤
-------------------------
A (初始)  → 导入数据到B表 → 切换视图到B → (1分钟后清空A表)→ 状态变更为B
B         → 反向操作

Express 实现代码

仅供参考,按照实际使用场景进行改造

const express = require('express');
const { Pool } = require('pg'); // 以PostgreSQL为例
const app = express();
app.use(express.json());// 数据库配置
const pool = new Pool({...});// 获取当前活跃组
async function getActiveGroup() {const res = await pool.query('SELECT active_group FROM ab_control LIMIT 1');return res.rows[0].active_group;
}// Powered by https://zhengkai.blog.csdn.net/
// 主切换函数
async function switchDataGroup(newData) {const client = await pool.connect();try {await client.query('BEGIN');// 1. 获取当前状态const { active_group } = (await client.query('SELECT active_group FROM ab_control FOR UPDATE')).rows[0];// 2. 确定目标组const targetGroup = active_group === 'a' ? 'b' : 'a';const targetTable = `data_${targetGroup}`;// 3. 清空目标表并导入数据await client.query(`TRUNCATE TABLE ${targetTable}`);await client.query(`INSERT INTO ${targetTable} (col1, col2) VALUES ${newData.map(d => `(${d.val1}, ${d.val2})`).join(',')}`);// 4. 切换视图await client.query(`CREATE OR REPLACE VIEW current_data AS SELECT * FROM ${targetTable}`);// 5. 更新控制表await client.query(`UPDATE ab_control SET active_group = $1,next_switch_time = NOW() + INTERVAL '1 minute'`, [targetGroup]);await client.query('COMMIT');// 6. 启动延迟清空任务(非事务内)setTimeout(() => clearOldTable(active_group), 60000); } finally {client.release();}
}// 延迟清空旧表
async function clearOldTable(oldGroup) {const client = await pool.connect();try {await client.query(`TRUNCATE TABLE data_${oldGroup}`);} finally {client.release();}
}// 数据导入路由
app.post('/import', async (req, res) => {try {await switchDataGroup(req.body.data);res.status(200).send('Import and switch successful');} catch (err) {console.error('Switch failed:', err);res.status(500).send('Switch operation failed');}
});// 查询路由(始终使用统一视图)
app.get('/data', async (req, res) => {const result = await pool.query('SELECT * FROM current_data');res.json(result.rows);
});app.listen(3000, () => console.log('Server running on port 3000'));

关键设计说明

  1. 原子性切换

    使用事务(BEGIN/COMMIT)确保:
    • 三者操作的原子性

    • 目标表清空+导入

    • 控制表更新

  2. 视图解耦

    • current_data 视图始终作为应用层统一查询入口

    • 切换时动态重建视图指向新物理表

  3. 延迟清理

    • 使用 setTimeout 实现1分钟延迟清空

    • 避免阻塞主流程

    • 注意:生产环境建议用Redis/Kue等持久化定时任务

  4. 并发控制

    • SELECT ... FOR UPDATE 锁控制表,防止并发切换

    • 视图重建瞬间的查询短暂阻塞可接受

  5. 故障恢复

    • 控制表记录 next_switch_time 可用于:

      • 重启后检查未完成的清理任务

      • 监控切换状态


生产环境增强建议

  1. 切换日志表

    CREATE TABLE ab_switch_log (switch_time TIMESTAMPTZ PRIMARY KEY,from_group CHAR(1),to_group CHAR(1),success BOOLEAN
    );
  2. 重试机制

    // 在clearOldTable中添加重试逻辑
    async function clearOldTable(group) {let attempts = 0;while (attempts < 3) {try {await pool.query(`TRUNCATE TABLE data_${group}`);return;} catch (err) {attempts++;await new Promise(r => setTimeout(r, 5000));}}// 告警通知
    }
  3. 维护接口

    // 手动触发清理
    app.post('/force-clean', async (req, res) => {const { group } = req.body;await clearOldTable(group);res.send(`Cleaned data_${group}`);
    });
  4. 监控指标

    • 每次切换时记录:切换耗时、数据量大小

    • 视图查询性能监控

此设计实现了平滑的AB表切换,确保服务连续性,同时通过延迟清理机制保障数据安全

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/914434.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/914434.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++_编程提升_temaplate模板_案例

类模板案例案例描述: 实现一个通用的数组类&#xff0c;要求如下&#xff1a;可以对内置数据类型以及自定义数据类型的数据进行存储将数组中的数据存储到堆区构造函数中可以传入数组的容量提供对应的拷贝构造函数以及operator防止浅拷贝问题提供尾插法和尾删法对数组中的数据进…

Win11系统安装Anaconda环境极简教程

Win11系统安装Anaconda环境极简教程 &#x1f4e5; 第一步&#xff1a;下载 Anaconda 安装包 打开浏览器&#xff0c;访问 Anaconda 官网&#xff0c;选择View All Installers 选择所需版本&#xff08;此文以2024.02-1为例&#xff09;&#xff0c;点击进行下载&#xff08;…

Datawhale AI夏令营-基于带货视频评论的用户洞察挑战赛

一.赛事目标基于星火大模型Spark 4.0 Ultra&#xff0c;对视频和评论的数据进行商品识别&#xff0c;情感分析&#xff0c;归类分析&#xff0c;最终为带货效果进行评价。并通过优化模型来提高评价准确度二.赛事环境1.基础平台&#xff1a;星火大模型Spark 4.0 Ultra2.赛事数据…

如何基于FFMPEG 实现视频推拉流

文章目录 前言环境准备为什么选择 FFmpeg什么是nginx 1.7.11.3 GryphonNginx的conf配置启动nginx推流命令接收视频流Untiy播放视频流最后前言 我们经常会有在电脑上实现推拉流的需求,Unity 和Unreal 都提供了基于WebRTC 的视频流方案,效果还不错,但是当我们需要推拉整个电脑…

飞算JavaAI:从情绪价值到代码革命,智能合并项目与定制化开发新范式

目录一、飞算 JavaAI 是什么&#xff1f;二、飞算JavaAI&#xff1a;安装登录2.1 IDEA插件市场安装&#xff08;推荐&#xff09;2.2 离线安装包三、飞算JavaAI核心功能&#xff1a;一键生成完整工程代码功能背景3.1 理解需求3.2 设计接口3.3 表结构自动设计3.4 处理逻辑&#…

Python 基础语法与数据类型(十一) - 类 (class) 与对象 (实例)

文章目录1. 什么是类 (Class)&#xff1f;1.1 定义一个类2. 什么是对象 (Object) 或实例 (Instance)&#xff1f;2.1 创建对象&#xff08;实例化&#xff09;3. 访问属性和调用方法4. 类属性 vs 实例属性5. self 的重要性总结练习题练习题答案前几篇文章我们学习了变量、数据类…

精准数据检索+数据飞轮自驱优化,彩讯AI知识库助力企业知识赋能和效率创新

近两年&#xff0c;人工智能技术的精细化发展&#xff0c;让知识库概念重新成为“热门词汇”&#xff0c;腾讯ima等智能工作台产品为个人用户打造专属知识库&#xff0c;而面向B端市场&#xff0c;企业AI知识库也逐步成为企业集中存储与管理核心文档、数据、经验和流程的知识中…

打破空间边界!Nas-Cab用模块化设计重构个人存储逻辑

文章目录前言1. Windows安装Nas-Cab2. 本地局域网连接Nas-Cab3. 安装Cpolar内网穿透4. 固定Nas-Cab 公网地址"数据管理不该受制于硬件形态或地理边界。这个开源方案证明&#xff1a;当功能模块化且可扩展时&#xff0c;私有云可以像水一样渗透进所有设备——现在就去Git仓…

Sigma-Aldrich细胞培养基础知识:细胞培养的安全注意事项

细胞培养实验室风险评估风险评估的主要目的是防止人员受伤&#xff0c;保护财产&#xff0c;并避免对个人和环境的伤害。在许多国家&#xff0c;法律要求进行风险评估。例如&#xff0c;英国的《英国职业健康与安全法案&#xff08;1974年&#xff09;》就是一个例子。欧洲共同…

Imx6ull用网线与电脑连接

理解工作方式没有路由器时&#xff0c;可以使用&#xff0c;只要保持虚拟机的两个网卡一个与电脑在同一网,一个与板子在同一网段(保持通信)就可以从虚拟机往板子下载第一步&#xff1a;查看电脑连接的网络这一步是在找到主机ip地址这两步在其他同类教程里一样的第二步:设置以太…

力扣454.四数相加Ⅱ

给你四个整数数组 nums1、nums2、nums3 和 nums4 &#xff0c;数组长度都是 n &#xff0c;请你计算有多少个元组 (i, j, k, l) 能满足&#xff1a;0 < i, j, k, l < nnums1[i] nums2[j] nums3[k] nums4[l] 0示例 1&#xff1a;输入&#xff1a;nums1 [1,2], nums2 …

Joplin:一款免费开源、功能强大且注重隐私的笔记软件

Joplin 是一款免费开源、功能强大且注重隐私的笔记和待办事项应用程序&#xff0c;它的设计目标是成为 Evernote 等流行笔记应用的强大替代品&#xff0c;尤其适合重视数据所有权和隐私的用户。 功能特性 Joplin 的核心定位与优势如下&#xff1a; 完全开源&#xff1a;代码公…

渗透前四天总结

目录 一.DNS DNS 基本概述 DNS解析过程 二.HTTPS TLS握手过程 RSA加密 对称加密&#xff1a; 非对称加密&#xff1a; RSA加密过程 三.使用xdebug调试php 四.信息收集 一.DNS DNS 基本概述 DNS&#xff1a;域名系统(DomainNameSystem)因特网的一项核心服务&#xf…

Python----NLP自然语言处理(中文分词器--jieba分词器)

一、介绍文本语料在输送给NLP模型前&#xff0c;需要一系列的预处理工作&#xff0c;才能符合模型输入的要求。对于NLP来说&#xff0c;他学习一篇人类书写的文章不是整体的来学习&#xff0c;而是一个词一个词的来学习。所以文本预处理的第一个步骤就是对文本进行分词处理。&a…

深入了解linux系统—— 进程信号的保存

信号 信号&#xff0c;什么是信号&#xff1f; 在现实生活中&#xff0c;闹钟&#xff0c;红绿灯&#xff0c;电话铃声等等&#xff1b;这些都是现实生活中的信号&#xff0c;当闹钟想起时&#xff0c;我就要起床&#xff1b;当电话铃声想起时&#xff0c;我就知道有人给我打电…

Redis 事务错误处理机制与开发应对策略

&#x1f4d8; Redis 事务错误处理机制与开发应对策略一、Redis 事务基础回顾 Redis 中的事务由以下三组命令构成&#xff1a;命令作用说明MULTI开始一个事务&#xff0c;进入命令入队模式命令集所有后续命令不会立即执行&#xff0c;而是入队等待提交EXEC提交事务&#xff0c;…

信息学奥赛一本通 1549:最大数 | 洛谷 P1198 [JSOI2008] 最大数

【题目链接】 ybt 1549&#xff1a;最大数 洛谷 P1198 [JSOI2008] 最大数 【题目考点】 1. 线段树&#xff1a;单点修改 区间查询 知识点讲解见&#xff1a;洛谷 P3374 【模板】树状数组 1&#xff08;线段树解法&#xff09; 【解题思路】 本题为设线段树维护区间最值&a…

【STM32】什么在使能寄存器或外设之前必须先打开时钟?

这篇文章解释一个非常基础但是重要的问题&#xff1a; 为什么在使能寄存器或外设之前必须先打开时钟&#xff1f; 我们会发现&#xff0c;如果不开时钟就访问寄存器 ⇒ 会“写不进去”或“读取错误”。 因此&#xff0c;我们在写代码时&#xff0c;总是需要 先开时钟&#xff0…

Go·并发处理http请求实现

一、Goroutine介绍 基本原理 goroutine 是 Go 运行时(Runtime)管理的​​用户态线程。与线程相比,其初始栈空间仅约 2KB,创建和切换的开销更低,能够同时运行大量并发任务。 创建goroutine的方法非常简单,在将要调用的函数前加入go关键字即可。 func hello() {fmt.Pri…

USB一线连多屏?Display Link技术深度解析

DisplayLink 技术是一种基于USB接口的显示输出解决方案&#xff0c;通常用于通过USB端口连接多个显示器&#xff0c;尤其在笔记本电脑、平板电脑和台式机上&#xff0c;能够显著扩展显示屏的数量和分辨率。它的核心技术原理是通过压缩和传输图形数据&#xff0c;将视频信号通过…