【MYSQL】mysql单表亿级数据查询优化处理

1、实践表明mysql单表数据超过一亿后,数据进行交并差效率会非常慢,所以这时候就要进行表的优化。

我这里主要是使用索引。

2、表字段精量精简

查索引,建索引,删索引语法

 --查看索引
-- SHOW INDEX FROM 表名;
-- 删除索引
--ALTER TABLE 表名 DROP INDEX username_index;

--建索引
CREATE INDEX 索引名ON 表名(索引字段(10));

 --查看索引
-- SHOW INDEX FROM 表名;
-- 删除索引
--ALTER TABLE 表名 DROP INDEX username_index;--建索引
CREATE INDEX 索引名ON 表名(索引字段(10));

3、mysql聚合函数大全

MySQL 提供了丰富的聚合函数,用于对一组值执行计算并返回单个值。以下是 MySQL 中常用的聚合函数及其用法:

基本聚合函数

1. COUNT()

  • 计算行数或非NULL值的数量

SELECT COUNT(*) FROM employees;  -- 计算总行数
SELECT COUNT(department_id) FROM employees;  -- 计算非NULL的department_id数量
SELECT COUNT(DISTINCT department_id) FROM employees;  -- 计算不同department_id的数量

2. SUM()

  • 计算数值列的总和

SELECT SUM(salary) FROM employees;
SELECT SUM(salary * 1.1) FROM employees;  -- 可以包含表达式

3. AVG()

  • 计算数值列的平均值

SELECT AVG(salary) FROM employees;
SELECT AVG(DISTINCT salary) FROM employees;  -- 计算不同值的平均值

4. MIN()

  • 返回列中的最小值

SELECT MIN(salary) FROM employees;
SELECT MIN(hire_date) FROM employees;  -- 也适用于日期

5. MAX()

  • 返回列中的最大值

SELECT MAX(salary) FROM employees;
SELECT MAX(hire_date) FROM employees;  -- 也适用于日期

高级聚合函数

6. GROUP_CONCAT()

  • 将多行值连接成一个字符串

SELECT department_id, GROUP_CONCAT(last_name) 
FROM employees 
GROUP BY department_id;-- 使用分隔符和排序
SELECT department_id, GROUP_CONCAT(last_name ORDER BY hire_date SEPARATOR ', ') 
FROM employees 
GROUP BY department_id;

7. STD() / STDDEV()

  • 计算总体标准差

SELECT STD(salary) FROM employees;

8. STDDEV_POP()

  • 计算总体标准差(同STD)

SELECT STDDEV_POP(salary) FROM employees;

9. STDDEV_SAMP()

  • 计算样本标准差

SELECT STDDEV_SAMP(salary) FROM employees;

10. VAR_POP()

  • 计算总体方差

SELECT VAR_POP(salary) FROM employees;

11. VAR_SAMP()

  • 计算样本方差

SELECT VAR_SAMP(salary) FROM employees;

12. VARIANCE()

  • 计算总体方差(同VAR_POP)

SELECT VARIANCE(salary) FROM employees;

统计聚合函数

13. BIT_AND()

  • 对二进制位执行AND操作

SELECT BIT_AND(flags) FROM permissions;

14. BIT_OR()

  • 对二进制位执行OR操作

SELECT BIT_OR(flags) FROM permissions;

15. BIT_XOR()

  • 对二进制位执行XOR操作

SELECT BIT_XOR(flags) FROM permissions;

分组函数

16. WITH ROLLUP

  • 添加小计和总计行

SELECT department_id, COUNT(*), AVG(salary)
FROM employees
GROUP BY department_id WITH ROLLUP;

窗口函数(MySQL 8.0+)

虽然严格来说不是聚合函数,但窗口函数常与聚合一起使用:

17. ROW_NUMBER()

SELECT employee_id, salary,ROW_NUMBER() OVER (ORDER BY salary DESC) AS rank
FROM employees;

18. RANK()

SELECT employee_id, salary,RANK() OVER (ORDER BY salary DESC) AS rank
FROM employees;

19. DENSE_RANK()

SELECT employee_id, salary,DENSE_RANK() OVER (ORDER BY salary DESC) AS rank
FROM employees;

使用注意事项

  1. 聚合函数通常与 GROUP BY 子句一起使用

  2. 可以在 HAVING 子句中使用聚合函数进行过滤

  3. SELECT 列表中非聚合列必须出现在 GROUP BY 中

  4. 聚合函数会忽略 NULL 值(除了 COUNT(*)

  5. MySQL 5.7及以上版本对 GROUP BY 有更严格的SQL模式要求

性能优化建议

  1. 为 GROUP BY 和 ORDER BY 列创建索引

  2. 考虑使用 EXPLAIN 分析查询执行计划

  3. 对于大数据集,可能需要调整 group_concat_max_len 系统变量

  4. 在可能的情况下,限制聚合数据集的大小

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/bicheng/82749.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++基础:模拟实现vector(有存在深层次的浅拷贝问题)

目录 引言 一、vector的基本框架 二、尾插push_back、reserve扩容、任意位置插入insert(增) 1.reserve扩容 2.push_back尾插 3.深层次的浅拷贝问题 4. 任意位置插入数据insert(会使迭代器失效) 三、构造、析构、拷贝构造函数 1.构造函数 1.1无…

【力扣】关于链表索引

怎么才能走到目标节点呢&#xff1f; 从9走到2&#xff0c;需要2步&#xff0c;他们的索引分别是&#xff1a;0&#xff0c;2 在for循环里&#xff1a;int i 0; i < 2; i i的范围是【0&#xff0c;2&#xff09; 有&#xff1a;2 2 - 0 如果从虚拟头节点开始走到2&#x…

C++ ODB框架详解:现代C++对象关系映射解决方案

目录 框架简介安装与配置基础概念实体映射数据库操作查询操作高级功能性能优化最佳实践 框架简介 ODB&#xff08;Object-Relational Database&#xff09;是一个专为C设计的对象关系映射&#xff08;ORM&#xff09;框架&#xff0c;由CodeSynthesis公司开发。它提供了一种…

Ai书签管理工具开发全记录(一):项目总览与技术蓝图

文章目录 Ai书签管理工具开发全记录&#xff08;一&#xff09;&#xff1a;项目总览与技术蓝图 ✨1. 项目背景与核心价值 &#x1f4a1;1.1. 核心特点 2. 技术架构分析 &#x1f3d7;️功能架构全景图典型工作流 3. 核心技术栈选择 &#x1f6e0;️4. 预期使用功能说明 &#…

GUI 编程——python

GUI 编程核心概念 GUI&#xff08;图形用户界面&#xff0c;Graphical User Interface&#xff09; 是一种通过图形元素&#xff08;窗口、按钮、菜单等&#xff09;与用户交互的应用程序形式&#xff0c;相比命令行界面更直观易用。以下是学习 GUI 编程的基础概念和流程&…

【Doris基础】Apache Doris 基本架构深度解析:从存储到查询的完整技术演进

目录 1 引言 2 Doris 架构全景图 2 核心组件技术解析 2.1 Frontend 层&#xff08;FE&#xff09; 2.2 Backend 层&#xff08;BE&#xff09; 3 数据存储与复制机制 3.1 存储架构演进 3.2 副本复制策略 4 查询处理全流程解析 4.1 查询生命周期 5 高可用设计 5.1 F…

光电赋能低空场景,灵途科技助力无人机持续升级

2025 UASE 主题为“步入低空经济新时代”的“2025第九届世界无人机大会暨国际低空经济与无人系统博览会/第十届深圳国际无人机展览会”5月23日在深圳会展中心隆重开幕。本届展会汇聚了全球800余家企业参展&#xff0c;展示5000多款无人机及系统设备&#xff0c;全面呈现低空经…

iOS QQ抽屉式导航的实现

QQ个人中心的侧滑功能(通常称为"抽屉式导航")可以通过以下几种方式在iOS中实现&#xff1a; 主要实现方案 使用第三方库 最快速的方式是使用成熟的第三方库&#xff1a; SWRevealViewController&#xff1a;最流行的侧滑菜单库MMDrawerController&#xff1a;另一…

【Pandas】pandas DataFrame drop

Pandas2.2 DataFrame Reindexing selection label manipulation 方法描述DataFrame.add_prefix(prefix[, axis])用于在 DataFrame 的行标签或列标签前添加指定前缀的方法DataFrame.add_suffix(suffix[, axis])用于在 DataFrame 的行标签或列标签后添加指定后缀的方法DataFram…

长短期记忆网络 (LSTM) 详解:从原理到应用

一、引言&#xff1a;序列数据处理的挑战​ 在自然语言处理、语音识别、时间序列分析等领域&#xff0c;数据通常以序列形式存在&#xff0c;前后数据点之间存在依赖关系。传统循环神经网络 (RNN) 虽然能捕捉序列依赖&#xff0c;但存在严重的梯度消失 / 爆炸问题&#xff0c;…

三天掌握PyTorch精髓:从感知机到ResNet的快速进阶方法论

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 一、分析式AI基础与深度学习核心概念 1.1 深度学习三要素 数学基础&#xff1a; f(x;W,b)σ(Wxb)(单层感知机) 1.2 PyTorch核心组件 张量操作示例…

Linux操作系统概述

一、操作系统的作用 1、五大基本功能 &#xff08;1&#xff09;进程和线程的管理&#xff1a;进程线程的状态、控制、同步互斥、通信调度等 (2&#xff09;存储管理&#xff1a;分配/回收、地址转换、存储保护等 (3&#xff09;文件管理&#xff1a;文件目录、文件操作、磁盘…

Python爬虫第22节- 结合Selenium识别滑动验证码实战

目录 一、引言 二、滑动验证码原理与反爬机制 2.1 验证码原理 2.2 反爬机制 三、工程实战&#xff1a;滑动验证码识别全流程 3.1 工程准备 3.1.1 环境依赖 3.1.2 目标网站与验证码识别案例 3.2 核心破解流程 3.2.1 自动化打开网页与登录 3.2.2 获取验证码图片&#…

NSSCTF-[NISACTF 2022]huaji?

下载附件得到文件 放到kali里面看看 发现是一张图片 用binwalk命令对其进行分离 发现需要密码 用010打开图片进行查看 对其进行解密 分别得到 ctf_NISA_2022 nisa_2022 发现ctf_NISA_2022是密码 得到flag NSSCTF{Nls_FumYEnnOjy}

nt!CcGetVacbMiss函数分析之设置好nt!_VACB然后调用函数nt!SetVacb

第一部分&#xff1a;MmMapViewInSystemCache函数返回 Status MmMapViewInSystemCache (SharedCacheMap->Section, &Vacb->BaseAddress, &NormalOffset, …

Uniapp+UView+Uni-star打包小程序极简方案

一、减少主包体积 主包污染源&#xff08;全局文件依赖&#xff09;劲量独立导入 componentsstaticmain.jsApp.vueuni.css 分包配置缺陷&#xff0c;未配置manifest.json中mp-weixin节点 "usingComponents" : true,"lazyCodeLoading" : "requiredC…

Teigha应用——解析CAD文件(DWG格式)Teigha在CAD C#二次开发中的基本应用

Teigha是一款专为开发者设计的工具&#xff0c;其核心技术在于强大的API和丰富的功能集&#xff0c;提供了一系列工具和方法&#xff0c;使开发者能够轻松地读取、解析和操作DWG文件。它支持多种操作系统&#xff0c;能在处理大型DWG文件时保持高效性能&#xff0c;还可用于构建…

JavaWeb:SpringBoot Bean管理

获取Bean Bean作用域 解决循环依赖方式 1.粗暴删除依赖 2.打破依赖配置 3.使用lazy注解 引入第三方Bean

Lua 脚本在 Redis 中的运用-23(Lua 脚本语法教程)

在 Redis 中编写和执行 Lua 脚本 Lua 脚本是在 Redis 中执行自定义逻辑的强大功能&#xff0c;可以直接在 Redis 服务器上执行。这减少了延迟&#xff0c;提高了性能&#xff0c;并能够实现客户端脚本难以或不可能实现的原子操作。通过在 Redis 中嵌入 Lua 脚本&#xff0c;您…

从零实现本地语音识别(FunASR)

FunASR 是达摩院开源的综合性语音处理工具包&#xff0c;提供语音识别&#xff08;ASR&#xff09;、语音活动检测&#xff08;VAD&#xff09;、标点恢复&#xff08;PUNC&#xff09;等全流程功能&#xff0c;支持多种主流模型&#xff08;如 Paraformer、Whisper、SenseVoic…