SQL對冗余數(shù)據(jù)的刪除重復(fù)記錄只保留單條的說明
發(fā)布日期：2022-01-30 09:03 | 文章來源：站長之家
在學(xué)習(xí)線性表的時候，曾有這樣一個例題。
已知一個存儲整數(shù)的順序表La，試構(gòu)造順序表Lb，要求順序表Lb中只包含順序表La中所有值不相同的數(shù)據(jù)元素。
算法思路：
先把順序表La的第一個元素付給順序表Lb，然后從順序表La的第2個元素起，每一個元素與順序表Lb中的每一個元素進行比較，如果不相同，則把該元素附加到順序表Lb的末尾。
public SeqList<int> Purge(SeqList<int> La)
{
SeqList<int> Lb = new SeqList<int>(La.Maxsize);
//將a表中的第1個數(shù)據(jù)元素賦給b表
Lb.Append(La[0]);
//依次處理a表中的數(shù)據(jù)元素
for (int i = 1; i <= La.GetLength() - 1; ++i)
{
int j = 0;
//查看b表中有無與a表中相同的數(shù)據(jù)元素
for (j = 0; j <= Lb.GetLength() - 1; ++j)
{
//有相同的數(shù)據(jù)元素
if (La[i].CompareTo(Lb[j]) == 0)
{
break;
}
}
//沒有相同的數(shù)據(jù)元素，將a表中的數(shù)據(jù)元素附加到b表的末尾。
if (j > Lb.GetLength() - 1)
{
Lb.Append(La[i]);
}
return Lb;
}
}
如果理解了這個思路，那么數(shù)據(jù)庫中的處理就好辦了。 我們可以做一個臨時表來解決問題
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
發(fā)生這種重復(fù)的原因是表設(shè)計不周產(chǎn)生的，增加唯一索引列即可解決。 但是你說了，我不想增加任何字段，但這時候又沒有顯式的標(biāo)識列，怎么取出標(biāo)識列呢？（可以是序號列，GUID，等） 上個問題先不講，先看看這個問題。 我們分別在三種數(shù)據(jù)庫中看一下處理辦法，就是通常我們用的Sqlserver2000,Sqlserver2005,Oracle 10g. 1. SQL Server 2000 構(gòu)造序號列 方法一：
SELECT 序號=
(SELECT COUNT(客戶編號) FROM 客戶 AS a WHERE a.客戶編號<= b.客戶編號),
客戶編號,公司名稱 FROM 客戶 AS b ORDER BY 1;
方法二： SELECT 序號= COUNT(*),
a.客戶編號, a.公司名稱FROM 客戶 AS a, 客戶 AS b
WHERE a.客戶編號>= b.客戶編號 GROUP BY a.客戶編號, b.公司名稱 ORDER BY 序號;
2. SQL Server 2005 構(gòu)造序號列 方法一：
SELECT RANK() OVER (ORDER BY 客戶編號 DESC) AS 序號, 客戶編號,公司名稱 FROM 客戶; 方法二:
WITH TABLE AS
(SELECT ROW_NUMBER() OVER (ORDER BY 客戶編號 DESC) AS 序號, 客戶編號,公司名稱 FROM 客戶)
SELECT * FROM TABLE
WHERE 序號 BETWEEN 1 AND 3;
3. Oracle 里 rowid 也可看做默認標(biāo)識列
在Oracle中，每一條記錄都有一個rowid，rowid在整個數(shù)據(jù)庫中是唯一的，rowid確定了每條記錄是在Oracle中的哪一個數(shù)據(jù)文件、塊、行上。
在重復(fù)的記錄中，可能所有列的內(nèi)容都相同，但rowid不會相同，所以只要確定出重復(fù)記錄中那些具有最大rowid的就可以了，其余全部刪除。
select * from test;select * from test group by id having count(*)>1select * from test group by idselect distinct * from testdelete from test a where a.rowid!=(select max(rowid) from test b where a.id=b.id);扯遠了，回到原來的問題，除了采用數(shù)據(jù)結(jié)構(gòu)的思想來處理，因為數(shù)據(jù)庫特有的事務(wù)處理，能夠把數(shù)據(jù)緩存在線程池里，這樣也相當(dāng)于臨時表的功能，所以，我們還可以用游標(biāo)來解決刪除重復(fù)記錄的問題。
declare @max int,
@id int
declare cur_rows cursor local for select id ,count(*) from test group by id having count(*) > 1
open cur_rows
fetch cur_rows into @id ,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max --讓這個時候的行數(shù)等于少了一行的統(tǒng)計數(shù),想想看,為什么
delete from test where id = @id
fetch cur_rows into @id ,@max
end
close cur_rows
set rowcount 0 以上是閃電查閱一些資料寫出的想法，有考慮不周的地方，歡迎大家指出。
算法思路：
先把順序表La的第一個元素付給順序表Lb，然后從順序表La的第2個元素起，每一個元素與順序表Lb中的每一個元素進行比較，如果不相同，則把該元素附加到順序表Lb的末尾。
復(fù)制代碼 代碼如下:
public SeqList<int> Purge(SeqList<int> La)
{
SeqList<int> Lb = new SeqList<int>(La.Maxsize);
//將a表中的第1個數(shù)據(jù)元素賦給b表
Lb.Append(La[0]);
//依次處理a表中的數(shù)據(jù)元素
for (int i = 1; i <= La.GetLength() - 1; ++i)
{
int j = 0;
//查看b表中有無與a表中相同的數(shù)據(jù)元素
for (j = 0; j <= Lb.GetLength() - 1; ++j)
{
//有相同的數(shù)據(jù)元素
if (La[i].CompareTo(Lb[j]) == 0)
{
break;
}
}
//沒有相同的數(shù)據(jù)元素，將a表中的數(shù)據(jù)元素附加到b表的末尾。
if (j > Lb.GetLength() - 1)
{
Lb.Append(La[i]);
}
return Lb;
}
}
如果理解了這個思路，那么數(shù)據(jù)庫中的處理就好辦了。 我們可以做一個臨時表來解決問題
復(fù)制代碼 代碼如下:
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
發(fā)生這種重復(fù)的原因是表設(shè)計不周產(chǎn)生的，增加唯一索引列即可解決。 但是你說了，我不想增加任何字段，但這時候又沒有顯式的標(biāo)識列，怎么取出標(biāo)識列呢？（可以是序號列，GUID，等） 上個問題先不講，先看看這個問題。 我們分別在三種數(shù)據(jù)庫中看一下處理辦法，就是通常我們用的Sqlserver2000,Sqlserver2005,Oracle 10g. 1. SQL Server 2000 構(gòu)造序號列 方法一：
SELECT 序號=
(SELECT COUNT(客戶編號) FROM 客戶 AS a WHERE a.客戶編號<= b.客戶編號),
客戶編號,公司名稱 FROM 客戶 AS b ORDER BY 1;
方法二： SELECT 序號= COUNT(*),
a.客戶編號, a.公司名稱FROM 客戶 AS a, 客戶 AS b
WHERE a.客戶編號>= b.客戶編號 GROUP BY a.客戶編號, b.公司名稱 ORDER BY 序號;
2. SQL Server 2005 構(gòu)造序號列 方法一：
SELECT RANK() OVER (ORDER BY 客戶編號 DESC) AS 序號, 客戶編號,公司名稱 FROM 客戶; 方法二:
WITH TABLE AS
(SELECT ROW_NUMBER() OVER (ORDER BY 客戶編號 DESC) AS 序號, 客戶編號,公司名稱 FROM 客戶)
SELECT * FROM TABLE
WHERE 序號 BETWEEN 1 AND 3;
3. Oracle 里 rowid 也可看做默認標(biāo)識列
在Oracle中，每一條記錄都有一個rowid，rowid在整個數(shù)據(jù)庫中是唯一的，rowid確定了每條記錄是在Oracle中的哪一個數(shù)據(jù)文件、塊、行上。
在重復(fù)的記錄中，可能所有列的內(nèi)容都相同，但rowid不會相同，所以只要確定出重復(fù)記錄中那些具有最大rowid的就可以了，其余全部刪除。
復(fù)制代碼 代碼如下:
select * from test;select * from test group by id having count(*)>1select * from test group by idselect distinct * from testdelete from test a where a.rowid!=(select max(rowid) from test b where a.id=b.id);扯遠了，回到原來的問題，除了采用數(shù)據(jù)結(jié)構(gòu)的思想來處理，因為數(shù)據(jù)庫特有的事務(wù)處理，能夠把數(shù)據(jù)緩存在線程池里，這樣也相當(dāng)于臨時表的功能，所以，我們還可以用游標(biāo)來解決刪除重復(fù)記錄的問題。
declare @max int,
@id int
declare cur_rows cursor local for select id ,count(*) from test group by id having count(*) > 1
open cur_rows
fetch cur_rows into @id ,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max --讓這個時候的行數(shù)等于少了一行的統(tǒng)計數(shù),想想看,為什么
delete from test where id = @id
fetch cur_rows into @id ,@max
end
close cur_rows
set rowcount 0 以上是閃電查閱一些資料寫出的想法，有考慮不周的地方，歡迎大家指出。
版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。
相關(guān)文章
關(guān)注官方微信