distinct mysql过滤重复记录

执行后结果如下：

示例2

执行后结果如下：

实际上是根据“name+id”来去重，distinct同时作用在了name和id上，这种方式Access和SQL Server同时支持。

示例3：统计

示例4

其他

distinct语句中select显示的字段只能是distinct指定的字段，其他字段是不可能出现的。例如，假如表A有“备注”列，如果想获取distinc name，以及对应的“备注”字段，想直接通过distinct是不可能实现的。

但可以通过其他方法实现关于SQL Server将一列的多行内容拼接成一行的问题讨论

distinct mysql过滤重复记录

标签：保留   多行   指定   效率   images   问题   title   重复记录   返回   

小编还为您整理了以下内容，可能对您也有帮助：

mysql中去重 用group by优化distinct 用法

在使用 MySQL 时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段，例如有如下表user:

用distinct来返回不重复的用户名：select distinct name from user;，结果为：

这样只把不重复的用户名查询出来了，但是用户的id，并没有被查询出来：select distinct name,id from user;，这样的结果为：

distinct name,id 这样的mysql 会认为要过滤掉name和id两个字段都重复的记录，如果sql这样写：select id,distinct name from user，这样mysql会报错，因为distinct必须放在要查询字段的开头。

所以一般distinct用来查询不重复记录的条数。

如果要查询不重复的记录，有时候可以用group by ：

select id,name from user group by name;

mysql中去重 用group by优化distinct 用法

在使用 MySQL 时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段，例如有如下表user:

用distinct来返回不重复的用户名：select distinct name from user;，结果为：

这样只把不重复的用户名查询出来了，但是用户的id，并没有被查询出来：select distinct name,id from user;，这样的结果为：

distinct name,id 这样的mysql 会认为要过滤掉name和id两个字段都重复的记录，如果sql这样写：select id,distinct name from user，这样mysql会报错，因为distinct必须放在要查询字段的开头。

所以一般distinct用来查询不重复记录的条数。

如果要查询不重复的记录，有时候可以用group by ：

select id,name from user group by name;

mysql怎么去除重复数据

MySQL 删除重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。

删除重复数据

如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：

from 树懒学堂 - 一站式数据知识平台

当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

mysql怎么去除重复数据

MySQL 删除重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。

删除重复数据

如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：

from 树懒学堂 - 一站式数据知识平台

当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

mysql 多个字段有重复数据, 我需要进行去重处理

过滤重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

资料来源：树懒学堂

mysql 多个字段有重复数据, 我需要进行去重处理

过滤重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

资料来源：树懒学堂

mysql数据库去重:(mysql数据库去重)

一般情况下，数据库去重复有以下那么三种方法：

第一种：

两条记录或者多条记录的每一个字段值完全相同，这种情况去重复最简单，用关键字distinct就可以去掉。例：

SELECTDISTINCT*FROMTABLE

第二种：

两条记录之间之后只有部分字段的值是有重复的，但是表存在主键或者唯一性ID。如果是这种情况的话用DISTINCT是过滤不了的，这就要用到主键id的唯一性特点及groupby分组。例：

SELECT*FROMTABLEWHEREIDIN(SELECTMAX(ID)FROMTABLEGROUPBY[去除重复的字段名列表,....])

第三种：

两条记录之间之后只有部分字段的值是有重复的，但是表不存在主键或者唯一性ID。这种情况可以使用临时表，讲数据复制到临时表并添加一个自增长的ID，在删除重复数据之后再删除临时表。例：

//创建临时表，并将数据写入到临时表

SELECTIDENTITY(INT1,1)ASID,*INTONEWTABLE(临时表)FROMTABLE

//查询不重复的数据

SELECT*FROMNEWTABLEWHEREIDIN(SELECTMAX(ID)FROMNEWTABLEGROUPBY[去除重复的字段名列表,....])

//删除临时表

DROPTABLENEWTABLE

MySQL过滤部分字段重复的数据

select
distinct可以去掉重复记录。
　　disctinct将重复的记录忽略，但它忽略的是完全一致的重复记录，而不是其中某个字段重复的记录，或者说，distinct查询一个字段时好使，多个字段就不好使。
　　所以用聚合函数和group
by实现
　　注意：group
by只能跟聚合函数搭配使用
　　例表
　　ID
username
password
TRDESC
　　1
A
abcdef
QR
　　2
A
abcdef
W34
　　3
A
bbbbbb
AD
　　4
B
aaaaaa
asdf
　　查询username和password组合起来的条件不能重复的查询结果(这个都能重复，不能不说这是个烂摊子)
　　select
*
from
mytable
where
ID
in(select
max(ID)
from
mytable
group
by
username,password)
　　当username和password重复时，取ID最小的记录：
　　select
*
from
mytable
where
ID
in(select
min(ID)
from
mytable
a
group
by
username,password)

MySQL过滤部分字段重复的数据

select
distinct可以去掉重复记录。
　　disctinct将重复的记录忽略，但它忽略的是完全一致的重复记录，而不是其中某个字段重复的记录，或者说，distinct查询一个字段时好使，多个字段就不好使。
　　所以用聚合函数和group
by实现
　　注意：group
by只能跟聚合函数搭配使用
　　例表
　　ID
username
password
TRDESC
　　1
A
abcdef
QR
　　2
A
abcdef
W34
　　3
A
bbbbbb
AD
　　4
B
aaaaaa
asdf
　　查询username和password组合起来的条件不能重复的查询结果(这个都能重复，不能不说这是个烂摊子)
　　select
*
from
mytable
where
ID
in(select
max(ID)
from
mytable
group
by
username,password)
　　当username和password重复时，取ID最小的记录：
　　select
*
from
mytable
where
ID
in(select
min(ID)
from
mytable
a
group
by
username,password)

mysql如何去除两个字段数据相同的记录

方法有很多，这里介绍两种

方法一、

如果要保留id的最小值，例如：

数据：

执行sql:select count(*) as count ,name,id from ceshi group by name

<img 

最后要删除的sql为：delete from ceshi where id not in (select count(*) as count ,name,id from ceshi group by name)

如果想保留id的最大值：

简单的办法是：delete from ceshi where id not in (select count(*) as count ,name,id from (select * from ceshi order by id desc) group by name)

如果想要删除的是两个列里面对应相同的数据，也就是说表里面有两条记录的name都是admin，要是只想保留其中一条的话，order by 的时候增加一个值即可，例如：

delete from ceshi where id not in (select count(*) as count ,name,id from ceshi group by name,email)

方法二、

只需要把你这张表当成两张表来处理就行了。

DELETE p1 from TABLE p1, TABLE p2 WHERE p1.name = p2.name AND p1.email = p2.email AND p1.id < p2.id;

这里有个问题，保留最新的那一条（也就是ID最小的那个）

上面的的语句，p1.id < p2.id，所以获取到的是id最大的，因为p1.id小于p2.id就会被删除，只有最大的值不满足。如果要获取id最小的那个，只需要把'<'改成'>'即可。

当然是用group by，count可以更精准控制重复n次的情况。

Mysql去掉重复数据的做法:distinct , group by。以及数据库的拓展

一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。

SQL： select distinct name from user

如果还要查询出id

SQL: select distinct name,id from user

SQL ：select name from user group by name

group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。

where条件：分组前的条件，配合任何关键字使用

Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数

SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) > 9000;

SQL： select deptno,count(*) from emp where sal >1000 group by deptno haing sum(sal) > 8000

拓展：

聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）

count(*) : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。

count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。

sum() : 求和运算

max(); 最大值

min(): 最小值

avg(): 平均值

Mysql去掉重复数据的做法:distinct , group by。以及数据库的拓展

一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。

SQL： select distinct name from user

如果还要查询出id

SQL: select distinct name,id from user

SQL ：select name from user group by name

group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。

where条件：分组前的条件，配合任何关键字使用

Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数

SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) > 9000;

SQL： select deptno,count(*) from emp where sal >1000 group by deptno haing sum(sal) > 8000

拓展：

聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）

count(*) : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。

count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。

sum() : 求和运算

max(); 最大值

min(): 最小值

avg(): 平均值

用Distinct在MySQL中查询多条不重复记录值[1]

　　在使用 mysql时 有时需要查询出某个字段不重复的记录 虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条 但往往只用它来返回不重复记录的条数 而不是用它来返回不重记录的所有值 其原因是distinct只能返回它的目标字段 而无法返回其它字段 这个问题让我困扰了很久 用distinct不能解决的话 我只有用二重循环查询来解决 而这样对于一个数据量非常大的站来说 无疑是会直接影响到效率的 所以我花了很多时间来研究这个问题 网上也查不到解决方案 期间把朋友拉来帮忙 结果是我们两人都郁闷了!

　　下面先来看看例子

　　table　　id name　　 a　　 b　　 c　　 c　　 b

　　库结构大概这样 这只是一个简单的例子 实际情况会复杂得多

　　比如我想用一条语句查询得到name不重复的所有数据 那就必须使用distinct去掉多余的重复记录

　　select distinct name from table

　　得到的结果是:

　　name　　a　　b　　c

　　好像达到效果了 可是 我想要得到的是id值呢?改一下查询语句吧:

　　select distinct name id from table

mysql 屏蔽 相同 行

一个表有可能在同一列中有重复的值。例如，数据库pubs的表authors中有两个作者的名字是Ringer。如果你从这个表中取出所有的名字，名字Ringer将会显示两次。
在特定情况下，你可能只有兴趣从一个表中取出互不相同的值。如果一个字段有重复的值，你也许希望每个值只被选取一次，你可以使用关键字DISTINCT来做到这一点：

SELCET DISTINCT au_lname FROM authors WHERE au_lname="Ringer"

当这个SELECT语句执行时，只返回一个记录。通过在SELECT语句中包含关键字DISTINCT，你可以删除所有重复的值。例如，假设有一个关于新闻组信息发布的表，你想取出所有曾在这个新闻组中发布信息的人的名字，那么你可以使用关键字DISTINCT。每个用户的名字只取一次——尽管有的用户发布了不止一篇信息。
同样我们可以使用：DISTINCTROW
将整条记录重复的记录忽略掉，而不是只有针对某一个字段的数据。
SELECT DISTINCTROW 公司名称

FROM 顾客表格 INNER JOIN 订单表格

ON 顾客表格.顾客ID＝订单表格.顾客ID

ORDER BY 公司名称;

如果您忽略 DISTINCTROW 则会对每个公司产生一行以下的订单数据。此外，若是DISTINCTROW只有用在一个表格当中，则会被省略掉。
警告：
如同ORDER BY子句一样，强*务器返回互不相同的值也会增加运行开销。福气不得不花费一些时间来完成这项工作。因此，不是必须的时候不要使用关键字DISTINCT。 select DISTINCT:取出互不相同的记录!

mysql 屏蔽 相同 行

一个表有可能在同一列中有重复的值。例如，数据库pubs的表authors中有两个作者的名字是Ringer。如果你从这个表中取出所有的名字，名字Ringer将会显示两次。
在特定情况下，你可能只有兴趣从一个表中取出互不相同的值。如果一个字段有重复的值，你也许希望每个值只被选取一次，你可以使用关键字DISTINCT来做到这一点：

SELCET DISTINCT au_lname FROM authors WHERE au_lname="Ringer"

当这个SELECT语句执行时，只返回一个记录。通过在SELECT语句中包含关键字DISTINCT，你可以删除所有重复的值。例如，假设有一个关于新闻组信息发布的表，你想取出所有曾在这个新闻组中发布信息的人的名字，那么你可以使用关键字DISTINCT。每个用户的名字只取一次——尽管有的用户发布了不止一篇信息。
同样我们可以使用：DISTINCTROW
将整条记录重复的记录忽略掉，而不是只有针对某一个字段的数据。
SELECT DISTINCTROW 公司名称

FROM 顾客表格 INNER JOIN 订单表格

ON 顾客表格.顾客ID＝订单表格.顾客ID

ORDER BY 公司名称;

如果您忽略 DISTINCTROW 则会对每个公司产生一行以下的订单数据。此外，若是DISTINCTROW只有用在一个表格当中，则会被省略掉。
警告：
如同ORDER BY子句一样，强*务器返回互不相同的值也会增加运行开销。福气不得不花费一些时间来完成这项工作。因此，不是必须的时候不要使用关键字DISTINCT。 select DISTINCT:取出互不相同的记录!

mysql 根据两个字段值查询时如何去除重复数据

假设表名为test：