文章插圖

文章插圖
【SQL去掉重復 sqlserver 去除重復數據】廢話不多說，直接干貨 。
一、oracle去重
1、創建測試數據

create table test_duplicate_removal(c001 number,c002 varchar2(100));insert into test_duplicate_removal values(101, 'aa');insert into test_duplicate_removal values(102, 'aa');insert into test_duplicate_removal values(103, 'aa');insert into test_duplicate_removal values(104, 'bb');insert into test_duplicate_removal values(105, 'bb');insert into test_duplicate_removal values(106, 'cc');insert into test_duplicate_removal values(107, 'cc');insert into test_duplicate_removal values(108, 'dd');

2、使用row_number() over()函數根據C002列去重
創建一個rn列，根據C002進行分組，每個小組內再根據C001的值進行排序 。
select c001,c002, row_number()over(partition by c002 order by c001 desc) rn fromtest_duplicate_removal

通過rn篩選值為1的行，同時也就對C002進行了去重
select * from (select c001,c002, row_number()over(partition by c002 order by c001 desc) rn fromtest_duplicate_removal) t where t.rn=1

二、python的pandas模塊去重方法
1、將數據庫數據導出保存為CSV

2、pandas實現sql里排序函數row_number() over()功能
import pandas as pd# 讀取CSV數據df = pd.read_csv('test_duplicate_removal.csv')print('打印原始數據：')print(df)# 此處等價于sql里的排序函數row_number() over()功能df['RN'] = df['C001'].groupby(df['C002']).rank()print()print('根據C002分組，根據C001組內排序：')print(df)# 去重print()print('去重，篩選RN=1的行：')print(df[df['RN'] == 1])運行結果

• 單因素方差分析和單因素重復測量方差分析 單因素方差分析和重復測量方差分析
• mysql jar包下載安裝教程 java導入mysql驅動包
• 連接MySQL失敗 mysql連接不成功怎么辦
• 怎么連接plsql plsql可以連接哪些數據庫
• 表中增加字段備注 sql表增加字段和注釋
• sqlserver日志查看刪除記錄 sqlserver日志查看視圖變動
• 虛擬機里安裝數據庫 虛擬機linux系統安裝mysql
• 忘了mysql的密碼 mysqlroot密碼忘記了怎么辦
• sql數據庫安裝教程為什么一定要重啟計算機 sql數據庫安裝教程2012
• mysql的基本介紹 簡要闡述mysql數據庫的特點