`
jerrylsxu
  • 浏览: 11660 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

Mysql中查找并删除重复数据的方法

阅读更多

(一)单个字段

 

1、查找表中多余的重复记录,根据(question_title)字段来判断

 

select * from questions where question_title in (select question_title from people group by question_title having count(question_title) > 1)

 

 

2、删除表中多余的重复记录,根据(question_title)字段来判断,只留有一个记录

 

delete from questions

where peopleId in (select peopleId from people group by peopleId having count(question_title) > 1)

and min(id) not in (select question_id from questions group by question_title having count(question_title)>1)

 

(二)多个字段

 

删除表中多余的重复记录(多个字段),只留有rowid最小的记录

 

DELETE FROM questions WHERE (questions_title,questions_scope) IN (SELECT questions_title,questions_scope FROM questions GROUP BY questions_title,questions_scope HAVING COUNT(*) > 1) AND question_id NOT IN (SELECT MIN(question_id) FROM questions GROUP BY questions_scope,questions_title HAVING COUNT(*)>1)

 

 

用上述语句无法删除,创建了临时表才删的,求各位达人解释一下。

 

CREATE TABLE tmp AS SELECT question_id FROM questions WHERE (questions_title,questions_scope) IN (SELECT questions_title,questions_scope FROM questions GROUP BY questions_title,questions_scope HAVING COUNT(*) > 1) AND question_id NOT IN (SELECT MIN(question_id) FROM questions GROUP BY questions_scope,questions_title HAVING COUNT(*)>1);

 

DELETE FROM questions WHERE question_id IN (SELECT question_id FROM tmp);

 

DROP TABLE tmp;

 

 

(三) 存储过程

 

declare @max integer,@id integer

 

declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >; 1

 

open cur_rows

 

fetch cur_rows into @id,@max

 

while @@fetch_status=0

 

begin

 

select @max = @max -1

 

set rowcount @max

 

delete from 表名 where 主字段 = @id

 

fetch cur_rows into @id,@max

 

end

 

close cur_rows

 

set rowcount 0

 

 

例,

 

数据库版本 Server version: 5.1.41-community-log MySQL Community Server (GPL)

 

例1,表中有主键(可唯一标识的字段),且该字段为数字类型

 

例1测试数据

 

/* 表结构 */

DROP TABLE IF EXISTS `t1`;

CREATE TABLE IF NOT EXISTS `t1`(

  `id` INT(1) NOT NULL AUTO_INCREMENT,

  `name` VARCHAR(20) NOT NULL,

  `add` VARCHAR(20) NOT NULL,

  PRIMARY KEY(`id`)

)Engine=InnoDB;

 

/* 插入测试数据 */

INSERT INTO `t1`(`name`,`add`) VALUES

('abc',"123"),

('abc',"123"),

('abc',"321"),

('abc',"123"),

('xzy',"123"),

('xzy',"456"),

('xzy',"456"),

('xzy',"456"),

('xzy',"789"),

('xzy',"987"),

('xzy',"789"),

('ijk',"147"),

('ijk',"147"),

('ijk',"852"),

('opq',"852"),

('opq',"963"),

('opq',"741"),

('tpk',"741"),

('tpk',"963"),

('tpk',"963"),

('wer',"546"),

('wer',"546"),

('once',"546");

 

SELECT * FROM `t1`;

+----+------+-----+

| id | name | add |

+----+------+-----+

|  1 | abc  | 123 |

|  2 | abc  | 123 |

|  3 | abc  | 321 |

|  4 | abc  | 123 |

|  5 | xzy  | 123 |

|  6 | xzy  | 456 |

|  7 | xzy  | 456 |

|  8 | xzy  | 456 |

|  9 | xzy  | 789 |

| 10 | xzy  | 987 |

| 11 | xzy  | 789 |

| 12 | ijk  | 147 |

| 13 | ijk  | 147 |

| 14 | ijk  | 852 |

| 15 | opq  | 852 |

| 16 | opq  | 963 |

| 17 | opq  | 741 |

| 18 | tpk  | 741 |

| 19 | tpk  | 963 |

| 20 | tpk  | 963 |

| 21 | wer  | 546 |

| 22 | wer  | 546 |

| 23 | once | 546 |

+----+------+-----+

rows in set (0.00 sec)

 

 

查找id最小的重复数据(只查找id字段)

 

 

/* 查找id最小的重复数据(只查找id字段) */

SELECT DISTINCT MIN(`id`) AS `id`

FROM `t1`

GROUP BY `name`,`add`

HAVING COUNT(1) > 1;

+------+

| id   |

+------+

|    1 |

|   12 |

|   19 |

|   21 |

|    6 |

|    9 |

+------+

rows in set (0.00 sec)

 

 

 

查找所有重复数据

 

/* 查找所有重复数据 */

SELECT `t1`.*

FROM `t1`,(

  SELECT `name`,`add`

  FROM `t1`

  GROUP BY `name`,`add`

  HAVING COUNT(1) > 1

) AS `t2`

WHERE `t1`.`name` = `t2`.`name`

  AND `t1`.`add` = `t2`.`add`;

+----+------+-----+

 

 

| id | name | add |

+----+------+-----+

|  1 | abc  | 123 |

|  2 | abc  | 123 |

|  4 | abc  | 123

|  6 | xzy  | 456 |

|  7 | xzy  | 456 |

|  8 | xzy  | 456 |

|  9 | xzy  | 789 |

| 11 | xzy  | 789 |

| 12 | ijk  | 147 |

| 13 | ijk  | 147 |

| 19 | tpk  | 963 |

| 20 | tpk  | 963 |

| 21 | wer  | 546 |

| 22 | wer  | 546 |

+----+------+-----+

rows in set (0.00 sec) 

1
0
分享到:
评论

相关推荐

    mysql查找删除表中重复数据方法总结

    在本篇文章中小编给大家整理了关于mysql查找删除表中重复数据方法和相关知识点,需要的朋友们参考下。

    MySQL 如何查找并删除重复记录的实现

    今天我们就来谈谈如何查找 MySQL 表中的重复数据以及如何删除这些重复的记录。 创建示例表 首先创建一个示例表 people 并生成一些数据: drop table if exists people; create table people ( id int auto_...

    mysql查找删除重复数据并只保留一条实例详解

    主要介绍了mysql查找删除重复数据并只保留一条实例详解的相关资料,需要的朋友可以参考下

    谈MySQL中重复行的查找删除.pdf

    谈MySQL中重复行的查找删除.pdf

    MySQL查询重复数据(删除重复数据保留id最小的一条为唯一数据)

    最近在做一个批量数据导入到MySQL数据库的功能,从批量导入就可以知道,这样的数据在插入数据库之前是不会进行重复判断的,因此只有在全部数据导入进去以后在执行一条语句进行删除,保证数据唯一性。 下面话不多说了...

    Mysql删除重复数据保留最小的id 的解决方法

    在网上查找删除重复数据保留id最小的数据,方法如下: DELETE FROM people WHERE peopleName IN ( SELECT peopleName FROM people GROUP BY peopleName HAVING count(peopleName) > 1 ) AND peopleId ...

    SQL重复记录查询和删除方法

    MYSQL 查询和删除重复记录的方法很多,下面为您介绍几种常用的 MYSQL 查询和删除重复记录的方法,希望对您查询和删除重复数据方面能有所帮助。  SQL重复记录查询的几种方法:  1. 查找表中多余的重复记录,重复...

    sql 删除表中的重复记录

    遇见了表中存在重复的记录的问题,直接写sql删除时最快的,才不要慢慢的复制到excel表中慢慢的人工找呢 如下sql,找出重复的记录,和重复记录中ID值最小的记录(表中ID为自增长) select MIN(ID) as id, StructSN ,...

    PHP和MySQL Web开发第4版pdf以及源码

    4.5.1 在字符串中查找字符串:strstr()、strchr()、strrchr()和stristr() 4.5.2 查找子字符串的位置:strpos()、strrpos() 4.5.3 替换子字符串:str_replace()、substr_replace() 4.6 正则表达式的介绍 4.6.1 ...

    PHP和MySQL WEB开发(第4版)

    4.5.1 在字符串中查找字符串:strstr()、strchr()、strrchr()和stristr() 4.5.2 查找子字符串的位置:strpos()、strrpos() 4.5.3 替换子字符串:str_replace()、substr_replace() 4.6 正则表达式的介绍 4.6.1 基础...

    sqlserver 删除重复记录处理(转)

    注:此处“重复”非完全重复,意为某字段数据重复 HZT表结构 ID int Title nvarchar(50) AddDate datetime 数据 一. 查找重复记录 1. 查找全部重复记录 Select * From 表 Where 重复字段 In (Select ... 删除重复记录

    mssql查找备注(text,ntext)类型字段为空的方法

    您可能感兴趣的文章:sql server 临时表 查找并删除的实现代码mysql 数据表中查找重复记录sqlserver中查找所有包含了某个文本的存储过程SQLserver中字符串查找功能patindex和charindex的区别mysql data文件夹位置...

    PHP和MySQL Web开发第4版

    4.5.1 在字符串中查找字符串:strstr()、strchr()、strrchr()和stristr() 4.5.2 查找子字符串的位置:strpos()、strrpos() 4.5.3 替换子字符串:str_replace()、substr_replace() 4.6 正则表达式的介绍 4.6.1 ...

    JAVA课程设计-基于mysql的学生信息管理系统(1).doc

    "完成代码设计及调试 " "5 "12月22日 "完成课程设计报告"整理文件,并完成书面报告 " 需求分析 学生管理系统的发展现状 经过了一段时间的发展,当今,各大高校普遍都有了相对完善的学生管理系统,但在 部分中小学中...

    JAVA课程设计-基于mysql的学生信息管理系统.doc

    "完成代码设计及调试 " "5 "12月22日 "完成课程设计报告"整理文件,并完成书面报告 " 需求分析 学生管理系统的发展现状 经过了一段时间的发展,当今,各大高校普遍都有了相对完善的学生管理系统,但在 部分中小学中...

    SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法

    1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断  select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 例二:  ...

    【最新版】navicat150_premium_en.dmg navicat-premium: 15.0.14【亲测可用】最好的MySQL数据库开发工具

    我们的图表功能使您可以创建大型数据集的可视表示形式,并帮助您从数据中获得更深刻的见解。探索并发掘数据之间的模式,趋势和关系,并创建有效的视觉输出,以将您的发现显示在仪表板上以进行共享。 我们功能强大的...

Global site tag (gtag.js) - Google Analytics