背景

数据误删是一个比较严重的场景

1.典型误操作场景

场景1：DELETE FROM orders WHERE status=0 → 漏写AND create_time>=‘2025-06-20’
场景2：DROP TABLE customer → 误执行于生产环境

认识 binlog

1.binlog 的核心作用

• 记录所有 DDL/DML 操作（不含 SELECT）
• ROW格式binlog记录数据行的完整镜像（例：DELETE操作保存被删行的所有字段值)

2.三种格式对比

• ROW格式：可解析具体数据变更（如DELETE的行数据），是数据恢复的前提。
• STATEMENT格式：仅记录SQL语句（如DELETE FROM user），无法还原误删的具体数据。
• MIXED格式：混合模式，可能无法保证所有操作记录完整数据3。

3.binlog恢复原理与前提条件

binlog为什么能恢复数据？

• ROW格式记录物理变更：保存每行数据的修改前/后镜像（DELETE记录完整被删行数据）。
• 事务连续性：通过start position和end position精准定位事务边界。
• 与Undo Log的区别：binlog持久化到磁盘，不受事务提交影响。

4.无法恢复的场景

• binlog未开启或格式为STATEMENT（仅记录SQL语句，无原始数据）
• TRUNCATE TABLE操作（直接清空物理文件，不记录行数据）
• binlog已被自动清理（expire_logs_days过期）或手动PURGE
• 大事务未提交时服务器崩溃（事务不完整）
• …

5.如何开启 binlog

• 修改 my.cnf 配置（代码示例）：

[mysqld]
server_id=1 
log_bin=mysql-bin 
binlog_format=ROW  # 必须为ROW格式才能解析具体数据 
expire_logs_days=7  # 自动清理周期 

• 验证是否开启：SHOW VARIABLES LIKE '%log_bin%';

恢复步骤

1. 确定操作时间与特征

• 通过业务日志/监控系统确认误删时间（如 2025-06-16 18:30:00）

• 提取SQL特征（如 delete from employee_performance where department = ‘研发’）

• 查看最近执行的删除语句（需开启general_log）

SELECT * FROM mysql.general_log  
WHERE argument LIKE '%DELETE FROM your_table%' 
ORDER BY event_time DESC LIMIT 1;

2. 列出时间范围内的所有binlog文件

# Linux/Mac（需替换实际路径）
ls -l /var/lib/mysql/mysql-bin.0*
# 解析binlog索引文件（通常为mysql-bin.index ）
cat /var/lib/mysql/mysql-bin.index # Windows（PowerShell）
dir
# 解析binlog索引文件（通常为mysql-bin.index ）
cat .\mysql-binlog.index# mysql
SHOW BINARY LOGS;  -- 列出所有binlog文件

3. 解析binlog找到误操作事件

举例

• 误删表：employee_performance
• 误删表所属库：test_demo
• 误删大致时间段：2025-06-17 23:00:00-2025-06-17 23:30:00
• 误删数据所属binlog文件名称：mysql-binlog.000002 (根据误删时间段推导)
• 误删数据量：124514行（根据delete sql执行结果得出）

从binlog提取SQL
使用mysqlbinlog解析binlog：

# 查找2025-06-18 23:00:00-2025-06-18 23:30:00间的binlog
#并输出到delete_sql.sql
mysqlbinlog --no-defaults --user=root -p -d test_demo --start-datetime="2025-06-17 23:00:00" --stop-datetime="2025-06-17 23:30:00" --base64-output=decode-rows -vv ../data/mysql-binlog.000002 > delete_sql.sql

输出文件内容示例

注意事项：

• –start/stop-datetime（时间范围）依赖系统时钟同步），受服务器时间漂移影响。
• 导出的文件并不一定是一个完整的事务(可能漏掉边界事务
  ) 观察此批delete from 末尾是否含有commit标志
  

数据恢复

在上一步我们已经导出了delete_sql.sql文件，接下来需要根据这个文件内容进行
过滤并重建数据

1.数据转换（java)

反转操作逻辑（将DELETE转为INSERT）
转换代码如下：

        Path outputPath = Paths.get(outputFilePath);// 步骤一: 读取输入文件的所有行，使用 UTF-8 编码，并替换无法解析的字符。List<String> lines;try (BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(inputFilePath),StandardCharsets.UTF_8.newDecoder().onMalformedInput(CodingErrorAction.REPLACE).onUnmappableCharacter(CodingErrorAction.REPLACE)))) {lines = reader.lines().collect(Collectors.toList());}// 步骤二、三、四: 过滤并处理有效的 binlog 行记录。List<String> processedLines = lines.stream()// 仅保留以 "### " 开头的行，这些是我们要处理的 binlog DML 语句。.filter(line -> line.startsWith("### "))// 去掉行首的 "### " 标识。.map(line -> line.substring(4))// 使用正则表达式移除从 "/*" 开始到行尾的注释。.map(line -> line.replaceAll("(?s)/\\*.*", ""))// 将 "DELETE FROM" 替换为 "INSERT INTO"，为逆向生成 INSERT 语句做准备。.map(line -> line.replace("DELETE FROM", "INSERT INTO")).collect(Collectors.toList());// 步骤五: 将所有处理过的行用换行符连接成一个单独的字符串，并将 "WHERE" 替换为 " VALUES ("。String text = String.join("\n", processedLines);text = text.replace("\nWHERE", " VALUES (");// 步骤六: 移除 binlog 中的字段位置标识，例如 "@1=", "@2=" 等。text = text.replaceAll("@[0-9]+=", "");// 步骤七: 对每一行进行整理，并在行尾添加逗号，为构建 VALUES 子句做准备。text = Stream.of(text.split("\n"))// 移除每行首尾的空白字符。.map(String::trim)// 过滤掉处理后可能产生的空行。.filter(line -> !line.isEmpty())// 如果行尾没有逗号，则添加一个，确保 VALUES 子句中的值都以逗号分隔。.map(line -> line.endsWith(",") ? line : line + ",").collect(Collectors.joining("\n"));// 步骤八: 修正由于前面步骤可能产生的 "VALUES (," 写法，将其规范为 "VALUES ("。text = text.replace("VALUES (,", "VALUES (");// 步骤九: 将多个 INSERT 语句正确地分隔开。将前一个 INSERT 的值与后一个 INSERT 语句用 ");" 连接。text = text.replace(",\nINSERT", ");\nINSERT");// 步骤十: 闭合最后一个 INSERT 语句。如果字符串以逗号结尾，则将其替换为 ");"。if (text.endsWith(",")) {text = text.substring(0, text.length() - 1) + ");";}// 将最终处理好的字符串以 UTF-8 编码写入到指定的输出文件中。Files.write(outputPath, text.getBytes(StandardCharsets.UTF_8));

详细转换代码见此项目（含测试用例)

mysql-binlog2sql

---

2.数据校验

运行完成后可以看到输入文件已经转换完成

条数也是对的 一条数据10行 1245140/10 = 1245410行和上面的模拟数据一致。

3.数据导入

重新执行转换的sql文件导入即可

SOURCE /tmp/restore.sql; 

番外

binlog 文件分割机制

当通过 binlog 恢复误删数据时，binlog 文件的大小限制和跨文件存储问题是影响恢复完整性的关键因素。

文件大小限制
MySQL 默认通过 max_binlog_size 控制单个 binlog 文件大小（默认 1GB）

大事务跨文件存储
若单个事务（如大表 DELETE）产生的日志量超过当前要落入的binlog文件 的max_binlog_size，该事务会跨多个 binlog 文件存储。

示例：一个 5GB 的事务可能分布在 mysql-bin.000001～mysql-bin.000005 中。

文件命名规则
Binlog 按顺序生成：mysql-bin.000001 → mysql-bin.000002 → …

新文件在以下情况创建：

• 当前文件 ≥ max_binlog_size
• 执行 FLUSH LOGS 或重启 MySQL。

确认binlog是否开启（Value=ON）

SHOW VARIABLES LIKE 'log_bin';  

查看MySQL的binlog模式是否为ROW

show global variables like "binlog%";

查询ROW格式需为FULL（记录完整行数据）

SHOW VARIABLES LIKE 'binlog_row_image'; 

检查binlog过期时间（确保日志未被自动清理）MySQL 8.0+默认30天

SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';

常用解析binlog文件参数详解

-no-defaults:

–start-datetime：指定开始时间（过滤早于该时间的日志） 示例： --start-datetime=“2025-06-15 14:00:00”

–stop-datetime： 指定结束时间（过滤晚于该时间的日志） 示例： --stop-datetime=“2025-06-15 15:00:00”

–read-from-remote-server： 从远程MySQL服务器读取binlog（需配合–host）
示例：–read-from-remote-server --host=192.168.1.100

–user --password ：指定连接MySQL的用户名和密码（远程解析时必填）示例： --user=root --password=your_password

-base64-output=decode-rows：解析ROW格式数据

-d ：指定库

注意事项

时间格式必须精确
日期时间需用引号包裹，格式为 “YYYY-MM-DD HH:MM:SS”（如 “2025-06-15 14:00:00”）。
权限要求
本地解析：需操作系统用户有binlog文件读取权限。
远程解析：MySQL用户需有REPLICATION CLIENT权限[]。
大事务处理
若事务过大导致mysqlbinlog内存溢出，可分段解析

-start/stop-position --start/stop-datetime 区别详解

1. --start/stop-position（物理位置）

原理
直接指向binlog事件的物理存储位置（如 # at 54321），通过解析binlog文件的固定偏移量定位。
特点
✅ 100%精确到具体事务
✅ 不受时间同步问题影响
❌ 需先通过其他方式获取位置号

2. --start/stop-datetime（时间范围）

原理
根据binlog事件头的时间戳字段过滤（如 #250618 10:00:00），依赖系统时钟同步。
特点
✅ 无需提前知道位置号
❌ 最大可能有1秒误差（可能漏掉边界事务）
❌ 受服务器时间漂移影响