使用Linux操作MySQL数据库分批导出数据为.SQL文件

当数据库某张数据量非常大的表进行其他操作,需要先进行导出时;
先用linux进入操作环境,

1.添加一个export_mysql_batches.sh脚本文件,

#!/bin/bash# 数据库连接配置
DB_HOST="36.33.0.138:3306"
DB_USER="devuser"
DB_PASS="rntec@mes1"
DB_NAME="rntec"
TABLE="prod_line_oper_log_history"# 分批设置
BATCH_SIZE=100000
OUTPUT_DIR="/home/output"  # 设置输出目录# 创建输出目录
mkdir -p "$OUTPUT_DIR"# 获取总行数
TOTAL_ROWS=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASS -e "SELECT COUNT(*) FROM $DB_NAME.$TABLE" -s)# 计算总批次数
BATCHES=$(( ($TOTAL_ROWS + $BATCH_SIZE - 1) / $BATCH_SIZE ))# 记录开始时间
START_TIME=$(date +"%Y-%m-%d %H:%M:%S")echo "[$START_TIME] 开始导出 $TABLE 表数据,共 $TOTAL_ROWS 行,分 $BATCHES 批导出..."# 循环分批导出
for (( i=0; i<$BATCHES; i++ ))
doCURRENT_TIME=$(date +"%Y-%m-%d %H:%M:%S")OFFSET=$(( $i * $BATCH_SIZE ))OUTPUT_FILE="$OUTPUT_DIR/${TABLE}_batch_$(printf "%04d" $i).sql"echo "[$CURRENT_TIME] 正在导出第 $((i+1))/$BATCHES 批 (OFFSET $OFFSET)..."mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASS \--no-create-info \--no-tablespaces \--skip-triggers \--compact \--where="1 LIMIT $BATCH_SIZE OFFSET $OFFSET" \$DB_NAME $TABLE > "$OUTPUT_FILE"# 检查文件是否生成成功if [ -s "$OUTPUT_FILE" ]; thenecho "成功导出到 $OUTPUT_FILE"elseecho "警告: $OUTPUT_FILE 为空或未创建"fi
done# 记录结束时间
END_TIME=$(date +"%Y-%m-%d %H:%M:%S")
echo "[$END_TIME] 所有批次导出完成!文件保存在 $OUTPUT_DIR"

2.修改数据库连接参数和表名;
3.给脚本执行权限:chmod +x export_mysql_batches.sh;
4.使用 nohup ./export_mysql_batches.sh & 让脚本在后台运行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/87930.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/87930.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 算法题解:链表与二叉树相关问题 打打卡

LeetCode 算法题解&#xff1a;链表与二叉树相关问题 在算法学习和实践中&#xff0c;LeetCode 是一个非常好的平台&#xff0c;它包含了各种各样的算法题目&#xff0c;有助于我们提升编程能力和解决问题的能力。本文将详细讲解在 leetcoding.cpp 文件中实现的一些链表和二叉树…

故宫票价监控接口分析(一)

故宫票价监控接口分析(一) 对爬虫、逆向感兴趣的同学可以查看文章,一对一小班教学(系统理论和实战教程)、提供接单兼职渠道:https://blog.csdn.net/weixin_35770067/article/details/142514698 本文内容仅供学习和参考之用,不得用于商业目的。作者对文中内容的准确性、完整…

AWS OpenSearch Dev Tools使用

# 创建通用索引模版 PUT _template/aws-waf_logs_template {"index_patterns": ["aws-waf-logs-*"],"mappings": {"properties": {"timestamp": {"type": "date"}}} }# 设置单个索引格式 PUT /aws-waf-…

git-安装 Gerrit Hook 自动生成changeid

要在 Git 中安装 Gerrit Hook 以自动生成 Change-ID&#xff0c;可以按照以下步骤操作&#xff1a; 全局钩子配置&#xff08;推荐&#xff09; 创建全局钩子目录并下载 Gerrit 提供的 commit-msg 钩子脚本&#xff0c;确保所有仓库共享该配置&#xff1a; mkdir -p ~/.githook…

Excel 的多线程特性

Excel 本身并不是完全多线程的应用程序&#xff0c;但它在某些操作和功能上支持多线程处理。以下是对 Excel 是否多线程的详细解答&#xff0c;结合你之前提到的 VBA/COM 自动化代码和受保护视图问题&#xff0c;提供清晰且准确的分析。 Excel 的多线程特性计算引擎的多线程支持…

【嵌入式ARM汇编】-操作系统基础(一)

操作系统基础(一) 文章目录 操作系统基础(一)1、操作系统架构概述2、用户模式与内核模式3、进程4、系统调用5、对象和句柄我们想要逆向的程序几乎从来不会在真空中执行。相反,程序通常在正在运行的操作系统(例如 Linux、Windows 或 macOS)的上下文中运行。因此,了解这些…

[创业之路-474]:企业经营层 - 小米与华为多维对比分析(2025年视角),以后不要把这两家公司放在同一个维度上 进行比较了

一、行业定位与市场角色不同华为&#xff1a;用技术手段解决行业的难题&#xff0c;顺便赚钱技术驱动型硬科技企业&#xff1a;以通信设备起家&#xff0c;延伸至智能手机、芯片、操作系统&#xff08;鸿蒙&#xff09;、云计算、智能汽车等领域&#xff0c;构建“云-管-端”全…

C#基础篇(06)抽象类与接口详解区别

抽象类是 C# 面向对象编程中的一个重要概念&#xff0c;它介于普通类和接口之间&#xff0c;提供了一种定义部分实现并要求派生类完成其余部分的机制。一、C# 中的抽象类抽象类是 C# 面向对象编程中的一个重要概念&#xff0c;它介于普通类和接口之间&#xff0c;提供了一种定义…

使用Python将PDF转换成word、PPT

在现代企业环境中,文档格式的转换是一项普遍且关键的需求。PDF(Portable Document Format)作为一种最终的、通常不可编辑的“打印”状态格式,被广泛用于分发和归档。然而,内容的创建、协作和修改主要在Microsoft Office套件中进行,特别是Word(DOCX)和PowerPoint(PPTX)…

香港风水(原生)林地的逻辑分类器

风水林是香港的原生林地&#xff0c;由于地处偏远、地形崎岖以及当地居民的信仰&#xff0c;这些林地得以保存完好。在香港&#xff0c;我们可以追溯到1924年的航拍图像记录&#xff0c;这些黑白航拍图像已经帮助我们划分和区分了林地、草地和灌木丛。然后&#xff0c;通过二战…

[Swarm] Result对象 | 智能体切换 | Response对象 | muduo review

第5章&#xff1a;结果对象 欢迎回到swarm&#xff01; 在上一章第4章&#xff1a;功能中&#xff0c;我们学习了如何通过定义Python功能赋予智能体技能。我们见证了当AI决策调用时&#xff0c;Swarm框架如何执行这些功能。 当前&#xff0c;我们的功能仅返回简单字符串如&q…

[2-02-02].第04节:环境搭建 - Linux搭建ES集群环境

ElasticSearch学习大纲 一、ES集群规划&#xff1a; 关系型数据库&#xff08;比如Mysql&#xff09;非关系型数据库&#xff08;Elasticsearch&#xff09;非关系型数据库&#xff08;Elasticsearch&#xff09;centos7hadoop103192.168.148.3centos7hadoop104192.168.148.4c…

部署并运行Spike-Driven-Transformer或QKFormer

部署并运行Spike-Driven-Transformer或QKFormer 我将指导你如何部署和运行Spike-Driven-Transformer或QKFormer代码,并在CIFAR-10、CIFAR-100和ImageNet-1K数据集上进行训练和测试。 1. 环境准备 首先需要设置Python环境并安装必要的依赖项: # 创建conda环境(推荐) con…

爬虫-request处理POST

1.概念很少在URL写参数&#xff0c;都在form data里面POST 的主要作用是将客户端的数据提交给服务器。这些数据可以是表单输入、文件内容、JSON 数据、XML 数据等等POST 请求携带的数据放在 HTTP 消息的请求体中。这与 GET 请求形成鲜明对比&#xff1a;GET 请求的数据通常附加…

免U盘一键重装系统

免U盘一键重装系统 简单介绍 详细的看GitHub项目首页 GitHub地址 # 下载脚本 curl -O https://cnb.cool/bin456789/reinstall/-/git/raw/main/reinstall.sh || wget -O reinstall.sh $_ # 重装系统 bash reinstall.sh ubuntu # 重启 rebootPS: 重启过程中, 可能需要手动选择r…

自动化一次通过率

自动化测试中的“一次通过率”&#xff08;First-pass Pass Rate&#xff09;​​ 是指自动化测试脚本在首次执行&#xff08;无人工干预、无重试&#xff09;​时&#xff0c;​成功通过的测试用例数占总执行用例数的百分比。​核心概念解析​​​“一次”的含义​​首次运行​…

111111事件

1.抽取 minio 当做文件对象存储服务器&#xff0c;在上面封装一层api&#xff0c;方便操作。 &#xff08;文件上传&#xff0c;指定路径上传&#xff0c;随机命名上传&#xff0c;前端获取token直接传&#xff0c;适合大对象&#xff0c;图片压缩&#xff09; 2.规范整个java项…

Qt的ui文件的编译和使用

Qt中的ui文件编译的类 要么继承 &#xff0c;要么实例化一个变量个人觉得还是继承好点&#xff0c;这样每次调用控件时&#xff0c;不用都要在控件前加上 ui.1 上面使用的是继承的关系&#xff0c;这样就可以直接使用控件.属性&#xff0c;而不用 ui.控件.树形2 QT中UI文件…

数据结构之树,二叉树,二叉搜索树

一.树1.形状2. 相关概念节点的度&#xff1a;一个节点含有的子树的个数称为该节点的度&#xff1b; 如上图&#xff1a;A的为6叶节点或终端节点&#xff1a;度为0的节点称为叶节点&#xff1b; 如上图&#xff1a;B、C、H、I...等节点为叶节点非终端节点或分支节点&#xff1a;…

LLM微调随记录

【如何把领域文献批量转换为可供模型微调的数据集&#xff1f;】 https://www.bilibili.com/video/BV1y8QpYGE57/?share_sourcecopy_web&vd_source8f9078186b93d9eee26026fd26e8a6ed 几个问题 首先要先搞清楚这几个问题 LLM 训练方法如何选择合适的训练方式如何判断是否…