在MySQL中我们最常用的去重方式有两种，分别是使用distinct，或者是使用group by进行去重操作，下面我们就来介绍一下这两者之间的区别与联系。

distinct的使用

单列去重

在MySQL中通常使用如下的语法来通过distinct进行单列去重。

SELECT DISTINCT columns FROM table_name WHERE where_conditions;

DISTINCT关键字主要是用来返回不同的值的，也就是说对于相同的值只会返回一个，并且作用于主语句所有列。如果在这个列中具有null的值，并且还对该列使用了distinct语句，那么MySQL只会保留一个null的值。

多列去重

distinct 对于多列的去重操作是根据指定的去重列的信息来进行操作，也就是说只有当所有的参与去重的列的值都相同的时候，才会认为是相同的信息，否则就是不一样的数据。

group by 去重

使用group by 去重语法如下。属于是对单列数据进行去重操作。

SELECT columns FROM table_name WHERE where_conditions GROUP BY columns;

group by多列去重语法如下。

SELECT columns FROM table_name WHERE where_conditions GROUP BY columns;

对于使用group by去重操作是将结果先进行分组排列，然后返回分组之后的第一条元素，并且根据group by 后面的字段进行去重。

distinct 和 group by的原理

在大多数的情况下，distinct可以被看做是一个特殊的group by操作，因为其去重的原理都是基于分组进行操作的，并且都可以通过索引扫描来完成。例如下面两条的语句来进行分析一下。

explain select int1_index from test_distinct_groupby group by int1_index;

explain select distinct int1_index from test_distinct_groupby;

其结果对应的extra都是 Using index for group-by。也就是说在语义相同的情况下二者的执行效率是一样的。

这里需要注意的是group by操作在MySQL8.0之前，会默认使用字段进行隐式的排序操作。也就是说在去重的同时还对去重字段进行了排序。而且这种隐式的排序在数据量超过一定大小的时候，会将临时数据拷贝到磁盘上进行操作，这样整个的SQL语句的执行效率会非常低。所以在MySQL8.0开始就放弃了这种隐式排序操作。

结论

在语相同的情况下，group by和distinct 都使用了索引，并且效率相同，在这种情况下两者几乎是等价的。

在语义相同，但没有索引的情况下，distinct的效率要高于group by，原因是distinct和group by都进行了分组操作，但是对于group by来讲，在MySQL8.0之前会进行隐式的排序，这样就会导致 filesort，这样就会导致SQL执行效率比较低。

但是从MySQL8.0开始，MySQL就删除了隐式的排序操作，所以在语义相同的情况，如果没有索引两者的效率是一样的。

为什么要推荐group by的使用呢？

因为相比较distinct来讲，group by更容易被理解，而且由于distinct会对所有的字段都生效，所以在进行一些复杂处理的时候，相比较于group by来说相对灵活。