百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

不可置信!SQL 优化终于干掉了“distinct”

wptr33 2024-11-09 14:59 31 浏览

sql 优化之多表联合查询干掉 “distinct” 去重关键字

Bash
在我提交了代码的时候,架构师给我指出我这个sql这样写会有问题。因为在分库分表的时候,是不支持子查询的。

所以需要把多表的子查询的 sql 结构进行优化。

是不是挺恐怖的;(此处为了脱敏,我把相关的 sql 关键词都给打码掉了)

这个 sql 的执行步骤如下: 1、查询出来 d 表中的某个 id 字段包含多个 id 值的所有的数据(因为此表是 1-n 的关系,所以需要去重,仅需要拿到不重复的 id 才可以继续下一个步骤);可以看到此步骤我把查询出来的多个值的结果给生成的了一个子表名为 sss;

2、下一个步骤就是需要进行排序(以时间进行倒序排序,因为要在前台进行按时间进行展示);

3、第 3 步就是把这些结果与 a 表进行合并,查询出来排序后的每个 id 的信息;然后进行分页处理;

Bash
其他的可以不必关心,最终要的是去重关键字(DISTINCT),拿小本本记号,一会要考哦。
实践是验证真理的唯一标准

例如有下表:

可以看到name和product_unit列的值都有可能是重复的。

mysql> SELECT t1.id,t1.name,t1.product_unit  FROM dd_product_category t1;
+
| id | name     | product_unit |
+
| 55 | 饮料     | 瓶           |
| 56 | 饮料     | 箱           |
| 57 | 零食     | 包           |
| 59 | 膨化食品 | 袋           |
| 60 | 方便食品 | 箱           |
| 61 | 自热火锅 | 碗           |
| 62 | 方便面   | 箱           |
| 63 | 矿泉水   | 箱           |
| 64 | 糖果     |              |
| 65 | 酒类     | 箱           |
| 66 | 烈酒     | 箱           |
| 67 | 啤酒     | 箱           |
| 68 | 预调酒   | 箱           |
+
13 rows in set (0.13 sec)

mysql> 
mysql> 

如何我们想只拿到name或者product_unit列的值并且不想要重复的值该怎么办?

1、拿到单个值是好拿的,但是是存在重复的数据的,这些重复的数据我们只保留一个就可以了,那么该怎么做呢?

mysql> SELECT t1.product_unit  FROM dd_product_category t1;
+
| product_unit |
+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 箱           |
| 碗           |
| 箱           |
| 箱           |
|              |
| 箱           |
| 箱           |
| 箱           |
| 箱           |
+
13 rows in set (19.31 sec)

mysql> 

2、去除重复列

mysql> 
mysql> SELECT DISTINCT t1.product_unit  FROM dd_product_category t1;
+
| product_unit |
+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 碗           |
|              |
+
6 rows in set (0.11 sec)

mysql> 

是不是很简单,虽然看着简单,但是如果多表子查询的时候,就会出现问题,例如你想要查询表 a,b,c 三个表的数据,这三个表必然都是有关系的。

a 和 b 是 1-n 的关系。但是你只有 b 表中 id,你需要先查询出来 b 表的数据,然后利用 b 表的数据去查询 a 表的数据,然后再去查询 c 表的数据。

想必肯定是很绕的。

整个过程中你肯定是需要去重的

当整个 sql 写完,基本上跟我写的优化前的 sql 也就差不多了。(多表嵌套,多 sql 嵌套 sql,啦啦啦一大堆)。

优化思路还是有很多的,当时能想到的就是把这个复杂的 sql 拆分成多个简单的 sql 执行,然后使用 Java 后台代码进行处理。(对于不甘于现状的我,想找到一个比这个更友好的解决方案的我,我是不会屈服这个问题的。)

说到这里,先给大家放上一个链接:

  • 1、(Mysql5.7 官方手册中提及到的关于优化 distinct 的方法) dev.mysql.com/doc/refman/…
  • 2、还有一个优化 group by 的: dev.mysql.com/doc/refman/…

推荐大家阅读。

Mysql5.7 官方手册中提及到的关于优化 distinct 的方法,原文如下:

MySQL 5.7 Reference Manual / … / DISTINCT Optimization

8.2.1.16 DISTINCT Optimization

DISTINCT combined with ORDER BY needs a temporary table in many cases.

distinct 与 order by 结合的许多情况下需要建一个临时表;

Because DISTINCT may use GROUP BY, learn how MySQL works with columns in ORDER BY or HAVING clauses that are not part of the selected columns. See Section 12.20.3, “MySQL Handling of GROUP BY”.

因为distinct可能使用group by,了解MySQL如何处理按order by 列或者具有不属于所选列的子句。见12.20.3节, “MySQL Handling of GROUP BY”.

In most cases, a DISTINCT clause can be considered as a special case of GROUP BY. For example, the following two queries are equivalent:

在大多数情况下,一个不同的子句可以被认为是group by 的特殊情况。例如下面这两个查询是等价的:
SELECT DISTINCT c1, c2, c3 FROM t1
WHERE c1 > const;
SELECT c1, c2, c3 FROM t1
WHERE c1 > const GROUP BY c1, c2, c3;

Due to this equivalence, the optimizations applicable to GROUP BY queries can be also applied to queries with a DISTINCT clause. Thus, for more details on the optimization possibilities for DISTINCT queries, see Section 8.2.1.15, “GROUP BY Optimization”.

由于这种等价性,适用于group by查询的优化,也可以应用于具有不同子句的查询。因此,关于distinct的查询优化的更多细节可以参考Section 8.2.1.15, “GROUP BY Optimization”.

When combining LIMIT row_count with DISTINCT, MySQL stops as soon as it finds row_count unique rows.

当 row_count 与 distinct 一起使用时,MySQL 一旦发现 row_count 是唯一的行,就会停止。

If you do not use columns from all tables named in a query, MySQL stops scanning any unused tables as soon as it finds the first match. In the following case, assuming that t1 is used before t2 (which you can check with EXPLAIN), MySQL stops reading from t2 (for any particular row in t1) when it finds the first row in t2:

如果在查询中不适用来自所有表的列,MySQL 一旦找到第一个匹配项就会停止扫描任何未使用的表。

在下面的例子中,假设 t1 在 t2 之前使用(你可以使用 explanin 来检查),MySQL 在找到 t2 的第一行时停止从 t2 读取(对于 t1 中的任何特定行)。

SELECT DISTINCT t1.a FROM t1, t2 where t1.a=t2.a;

官方的手册中写到的,真是句句扣心呀!!!

总结有以下比较重要的几点:

  • 1、distinct 与 group by 几乎等价;
  • 2、distinct 的相关优化与 group by 的查询优化方法是等价的;

我们抱着试试看的态度,去做个试验。

就以下列这个效果为最终目的好了:

mysql> 
mysql> SELECT DISTINCT t1.product_unit  FROM dd_product_category t1;
+
| product_unit |
+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 碗           |
|              |
+
6 rows in set (0.11 sec)

mysql> 

使用 group by 去重:

mysql> select  t1.product_unit from dd_product_category t1 group by t1.product_unit;
+
| product_unit |
+
|              |
| 包           |
| 瓶           |
| 碗           |
| 箱           |
| 袋           |
+
6 rows in set (19.46 sec)

mysql> 
可以看到,最终拿到的数据是一模一样的。
那么我们试验是成功的,distinct的效果和group by的效果是一样的。
那么我们优化distinct就变向的去优化group by了(我优化前的sql并未使用group by所以谈不上优化group by,只能说是把distinct的复杂sql改造成group by 的sql)。

打开我前面提到的这个优化 group by 的官方手册: dev.mysql.com/doc/refman/…

由于原文比较长,这里就不在过多赘述。

现在需要做的就是把 distinct 改造成 group by 的 sql 语法的写法。

怎么样,改造后的 sql,是不是还挺清爽的。

1、我们扔掉了多个嵌套sql;

2、也不用去生成一个sss的临时表了

对于本人而言学到了:

  • 1、distinct 与 group by 几乎等价;
  • 2、distinct 的相关优化与 group by 的查询优化方法是等价的;
  • 3、如果 distinct 的不能让 sql 最优化,那么可以尝试着使用 group by 的方式去改造一下。

作者:TrueDei

链接:https://juejin.cn/post/6909718516606173191

来源:掘金

相关推荐

F103C8T6移植FATFS文件系统 版本R0.15

STM32F103C8T6芯片在W25Q64上移植FATFS(版本R0.15)实现过程:1、首先完成USART初始化和调试,用于传输信息到串口调试软件。2、完成SPI相关参数配置及调试,用于单片机和存...

stm32使用MPU6050或ADXL345控制的车辆减速灯

本实验例程采用MPU6050六轴运动处理组件...

STM32F103串口输出prtinf覆盖(stm32printf函数的串口输出)

采用正点原子的板子,有如下坑,记录如下:(1)main中应用头文件#include"stdio.h"(2)采用hal进行fputc和fgetc覆盖,如下intfputc(intc...

STM32 学习8 USART串口通讯与printf重定向

一、串口通信介绍STM32F103ZET6包含多个UART、USART串口。...

教你如何使用SEGGER RTT优雅的实现日志系统

今天开始了BMS系统的软件代码部分的搭建,计划是分成三层:硬件驱动,AFE层和系统应用层。第一步肯定是先把底层的IIC通信调通,CG861xx的IIC通信和TI的BQ769X0...

终极调试利器,各种Link通吃(link4a调制方式)

今天继续更新一期KEIL调试方法。事实上,关于调试方法,鱼鹰写了一个系列,汇总文为《佛祖保佑,永无BUG,永不修改|KEIL调试系列总结篇》,对于KEIL方法感兴趣的可以看看。这个调试...

在 STM32 中使用 printf() 函数,别漏掉这几行代码!

问:在STM32上轻松使用printf函数除了点亮LED外,向串行控制台发送打印信息可能是调试嵌入式项目时最简单、最直接且最常用的技术。虽然大多数平台都拥有可以在UART总线上传输数据的API,但它们...

高性能异步io机制:io_uring(异步io select)

io_uring是linux内核5.10引入的异步io接口。相比起用户态的DPDK、SPDK,io_uring作为内核的一部分,通过mmap的方式实现用户和内核共享内存,并基于m...

精品博文ARM中打印函数print 的几种实现方法

1利用C库函数printf步骤:1)首先需要包含头文件stdio.h。2)然后定义文件句柄。实际上就是一个int型变量封装在结构体中。struct__FILE{inthandle;};3)定...

C语言char的详解(c语言(char))

在C语言中,char是一种基础数据类型,用于表示字符或小整数值。对char的理解和处理非常重要,尤其是在字符串操作、文件读写或其他需要直接控制内存的应用场景中。下面从基本定义、存储方式、常见用法...

C语言之文件操作(c语言文件操作实验总结)

文件操作是C语言中非常重要的功能,用于读取和写入文件中的数据。C语言提供了一组标准库函数(如fopen、fclose、fread、fwrite等)来实现文件操作。以下是针对C语言初学者的详细讲解。...

STM32-ADC如何把采集的数据转换为小数

编辑一、代码原理解析这段代码围绕“STM32中ADC数据采集、整数与小数计算及串口输出”展开,核心是数据类型的使用(unsignedint/signedint/float)、ADC数...

循环队列原理及在单片机串口通讯中的应用(二)

前言书接上回,前文主要介绍了环形队列的实现原理以及C语言实现及测试过程,本文将回归到嵌入式平台的应用中,话不多说,淦,上干货!...

STM32编程中printf函数重定向背后的原理

  在C语言中,printf是一个非常好用的函数,尤其是在程序调试阶段,我们可以通printf打印变量的值来帮助查错。在学习C语言的时候我们的开发环境和运行环境都是PC机,printf函数打印到PC机...

MySQL 避坑指南之隐式数据类型转换

...