SQL වගුවක අනුපිටපත් අගයන් සොයා ගැනීම

එක් ක්ෂේත්‍රයක් සමඟ අනුපිටපත් සොයා ගැනීම පහසුය:

SELECT name, COUNT(email) 
FROM users
GROUP BY email
HAVING COUNT(email) > 1

ඉතින් අපිට මේසයක් තියෙනවා නම්

ID   NAME   EMAIL
1    John   asd@asd.com
2    Sam    asd@asd.com
3    Tom    asd@asd.com
4    Bob    bob@asd.com
5    Tom    asd@asd.com

මෙම විමසුම අපට ජෝන්, සෑම්, ටොම්, ටොම් ලබා දෙන්නේ ඔවුන් සියල්ලන්ටම එක හා සමාන emailබැවිනි.

කෙසේ වෙතත්, මට අවශ්‍ය වන්නේ එකම email හා අනුපිටපත් ලබා ගැනීමයි name.

එනම්, මට "ටොම්", "ටොම්" ලබා ගැනීමට අවශ්යයි.

මට මෙය අවශ්‍ය හේතුව: මම වැරැද්දක් කළ අතර, අනුපිටපත් nameසහ emailඅගයන් ඇතුළත් කිරීමට ඉඩ දුන්නෙමි . දැන් මට අනුපිටපත් ඉවත් කිරීමට / වෙනස් කිරීමට අවශ්‍යයි, එබැවින් මට පළමුව ඒවා සොයා ගත යුතුය.

SELECT
    name, email, COUNT(*)
FROM
    users
GROUP BY
    name, email
HAVING 
    COUNT(*) > 1

තීරු දෙකෙහිම සරලව කණ්ඩායම් කරන්න.

සටහන: පැරණි ANSI ප්‍රමිතිය GROUP BY හි සමස්ථ නොවන තීරු තිබිය යුතු නමුත් මෙය "ක්‍රියාකාරී යැපීම" යන අදහස සමඟ වෙනස් වී ඇත :

සබැඳි දත්ත සමුදා න්‍යායේ දී, ක්‍රියාකාරී පරායත්තතාවය යනු දත්ත සමුදායකින් සම්බන්ධතාවයක ගුණාංග දෙකක් අතර සීමාවකි. වෙනත් වචන වලින් කිවහොත්, ක්‍රියාකාරී යැපීම යනු සම්බන්ධතාවයක ගුණාංග අතර සම්බන්ධතාවය විස්තර කරන බාධකයකි.

සහාය අනුකූල නොවේ:

• මෑත PostgreSQL එයට සහය දක්වයි .
• SQL සේවාදායකයට (SQL Server 2017 හි මෙන්) තවමත් GROUP BY හි ඇති සමස්ත නොවන තීරු අවශ්‍ය වේ.
• MySQL අනපේක්ෂිත වන අතර ඔබට අවශ්‍ය වන්නේ sql_mode=only_full_group_by:
  • වැරදි ප්‍රති results ල පෙන්වීමෙන් නම නම් කරන්න ;
  • කිසිවක් නොමැති විට අවම වියදම් සහිත සමස්ත කාර්යය මෙයයි (පිළිගත් පිළිතුරෙහි අදහස් බලන්න).
• ඔරකල් ප්‍රධාන ධාරාව නොවේ (අනතුරු ඇඟවීම: හාස්‍යය, මම ඔරකල් ගැන නොදනිමි).

මේක උත්සාහ කරන්න:

declare @YourTable table (id int, name varchar(10), email varchar(50))

INSERT @YourTable VALUES (1,'John','John-email')
INSERT @YourTable VALUES (2,'John','John-email')
INSERT @YourTable VALUES (3,'fred','John-email')
INSERT @YourTable VALUES (4,'fred','fred-email')
INSERT @YourTable VALUES (5,'sam','sam-email')
INSERT @YourTable VALUES (6,'sam','sam-email')

SELECT
    name,email, COUNT(*) AS CountOf
    FROM @YourTable
    GROUP BY name,email
    HAVING COUNT(*)>1

නිමැවුම්:

name       email       CountOf
---------- ----------- -----------
John       John-email  2
sam        sam-email   2

(2 row(s) affected)

ඔබට අවශ්‍ය නම් මෝඩයන්ගේ හැඳුනුම්පත් මෙය භාවිතා කරන්න:

SELECT
    y.id,y.name,y.email
    FROM @YourTable y
        INNER JOIN (SELECT
                        name,email, COUNT(*) AS CountOf
                        FROM @YourTable
                        GROUP BY name,email
                        HAVING COUNT(*)>1
                    ) dt ON y.name=dt.name AND y.email=dt.email

නිමැවුම්:

id          name       email
----------- ---------- ------------
1           John       John-email
2           John       John-email
5           sam        sam-email
6           sam        sam-email

(4 row(s) affected)

අනුපිටපත් මකා දැමීමට උත්සාහ කරන්න:

DELETE d
    FROM @YourTable d
        INNER JOIN (SELECT
                        y.id,y.name,y.email,ROW_NUMBER() OVER(PARTITION BY y.name,y.email ORDER BY y.name,y.email,y.id) AS RowRank
                        FROM @YourTable y
                            INNER JOIN (SELECT
                                            name,email, COUNT(*) AS CountOf
                                            FROM @YourTable
                                            GROUP BY name,email
                                            HAVING COUNT(*)>1
                                        ) dt ON y.name=dt.name AND y.email=dt.email
                   ) dt2 ON d.id=dt2.id
        WHERE dt2.RowRank!=1
SELECT * FROM @YourTable

නිමැවුම්:

id          name       email
----------- ---------- --------------
1           John       John-email
3           fred       John-email
4           fred       fred-email
5           sam        sam-email

(4 row(s) affected)

මේක උත්සාහ කරන්න:

SELECT name, email
FROM users
GROUP BY name, email
HAVING ( COUNT(*) > 1 )

ඔබට අනුපිටපත් මකා දැමීමට අවශ්‍ය නම්, ත්‍රිත්ව උප-තේරීමකට / අමුතු පේළි පවා සොයා ගැනීමට වඩා එය කිරීමට වඩා සරල ක්‍රමයක් මෙන්න:

SELECT id, name, email 
FROM users u, users u2
WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id

මකා දැමීමට:

DELETE FROM users
WHERE id IN (
    SELECT id/*, name, email*/
    FROM users u, users u2
    WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id
)

IMHO කියවීමට සහ තේරුම් ගැනීමට වඩා පහසුය

සටහන: එකම ගැටළුව වන්නේ පේළි මකා නොදමන තුරු ඔබ ඉල්ලීම ක්‍රියාත්මක කළ යුතුය, මන්ද ඔබ එක් එක් අනුපිටපතෙන් 1 ක් පමණක් මකා දමයි

පහත සඳහන් දෑ උත්සාහ කරන්න:

SELECT * FROM
(
    SELECT Id, Name, Age, Comments, Row_Number() OVER(PARTITION BY Name, Age ORDER By Name)
        AS Rank 
        FROM Customers
) AS B WHERE Rank>1

 SELECT name, email 
    FROM users
    WHERE email in
    (SELECT email FROM users
    GROUP BY email 
    HAVING COUNT(*)>1)

සාදයට මඳක් ප්‍රමාද වූ නමුත් සියලු අනුපිටපත් හැඳුනුම්පත් සොයා ගැනීමට මට නියම විසඳුමක් ලැබුණි:

SELECT GROUP_CONCAT( id )
FROM users
GROUP BY email
HAVING ( COUNT(email) > 1 )

මෙම කේතය උත්සාහ කරන්න

WITH CTE AS

( SELECT Id, Name, Age, Comments, RN = ROW_NUMBER()OVER(PARTITION BY Name,Age ORDER BY ccn)
FROM ccnmaster )
select * from CTE 

මෙය එක් එක් අනුපිටපත් සමූහයෙන් එක් වාර්තාවක් හැර අනෙකුත් සියලුම අනුපිටපත් වාර්තා තෝරා ගනී / මකා දමයි. එබැවින්, මකාදැමීම මඟින් සියලුම අද්විතීය වාර්තා + එක් එක් අනුපිටපත් වලින් එක් වාර්තාවක් තබයි.

අනුපිටපත් තෝරන්න:

SELECT *
FROM table
WHERE
    id NOT IN (
        SELECT MIN(id)
        FROM table
        GROUP BY column1, column2
);

අනුපිටපත් මකන්න:

DELETE FROM table
WHERE
    id NOT IN (
        SELECT MIN(id)
        FROM table
        GROUP BY column1, column2
);

විශාල ප්‍රමාණයේ වාර්තා ගැන සැලකිලිමත් වන්න, එය කාර්ය සාධන ගැටළු ඇති කළ හැකිය.

ඔබ ඔරකල් සමඟ වැඩ කරන්නේ නම්, මෙම ක්‍රමය වඩාත් සුදුසු වනු ඇත:

create table my_users(id number, name varchar2(100), email varchar2(100));

insert into my_users values (1, 'John', 'asd@asd.com');
insert into my_users values (2, 'Sam', 'asd@asd.com');
insert into my_users values (3, 'Tom', 'asd@asd.com');
insert into my_users values (4, 'Bob', 'bob@asd.com');
insert into my_users values (5, 'Tom', 'asd@asd.com');

commit;

select *
  from my_users
 where rowid not in (select min(rowid) from my_users group by name, email);

select name, email
, case 
when ROW_NUMBER () over (partition by name, email order by name) > 1 then 'Yes'
else 'No'
end "duplicated ?"
from users

ඔබේ වගුවේ අනුපිටපත් පේළි තිබේදැයි බැලීමට ඔබට අවශ්‍ය නම්, මම පහත භාවිතා කළේ විමසුම:

create table my_table(id int, name varchar(100), email varchar(100));

insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (2, 'Aman', 'aman@rms.com');
insert into my_table values (3, 'Tom', 'tom@rms.com');
insert into my_table values (4, 'Raj', 'raj@rms.com');


Select COUNT(1) As Total_Rows from my_table 
Select Count(1) As Distinct_Rows from ( Select Distinct * from my_table) abc 

මෙය මා ඉදිරිපත් කළ පහසුම දෙයයි. එය පොදු වගු ප්‍රකාශනයක් (CTE) සහ කොටස් කවුළුවක් භාවිතා කරයි (මෙම විශේෂාංග SQL 2008 සහ පසුව ඇති බව මම සිතමි).

මෙම උදාහරණයෙන් අනුපිටපත් නාමය සහ ඩොබ් ඇති සියලුම සිසුන් සොයා ගනී. අනුපිටපත් කිරීම සඳහා ඔබට පරීක්ෂා කිරීමට අවශ්‍ය ක්ෂේත්‍ර OVER වගන්තියට ඇතුළත් වේ. ප්‍රක්ෂේපණය තුළ ඔබට අවශ්‍ය වෙනත් ක්ෂේත්‍ර ඇතුළත් කළ හැකිය.

with cte (StudentId, Fname, LName, DOB, RowCnt)
as (
SELECT StudentId, FirstName, LastName, DateOfBirth as DOB, SUM(1) OVER (Partition By FirstName, LastName, DateOfBirth) as RowCnt
FROM tblStudent
)
SELECT * from CTE where RowCnt > 1
ORDER BY DOB, LName

select id,name,COUNT(*) from user group by Id,Name having COUNT(*)>1

අනුපිටපත් අගයන් ගණනය කරන්නේ කෙසේද ?? එක්කෝ එය 2 වතාවක් හෝ 2 ට වඩා වැඩි වේ. ඒවා ගණන් කරන්න, කණ්ඩායම් වශයෙන් නොවේ.

තරම් සරලයි

select COUNT(distinct col_01) from Table_01

CTE භාවිතා කිරීමෙන් අපට මේ වගේ අනුපිටපත් අගයක් සොයාගත හැකිය

with MyCTE
as
(
select Name,EmailId,ROW_NUMBER() over(PARTITION BY EmailId order by id) as Duplicate from [Employees]

)
select * from MyCTE where Duplicate>1

 select emp.ename, emp.empno, dept.loc 
          from emp
 inner join dept 
          on dept.deptno=emp.deptno
 inner join
    (select ename, count(*) from
    emp
    group by ename, deptno
    having count(*) > 1)
 t on emp.ename=t.ename order by emp.ename
/

SELECT id, COUNT(id) FROM table1 GROUP BY id HAVING COUNT(id)>1;

කිසියම් තීරුවක නැවත නැවත අගයන් සෙවීම සඳහා මෙය නිසි ලෙස ක්‍රියා කරනු ඇතැයි මම සිතමි.

SELECT * FROM users u where rowid = (select max(rowid) from users u1 where
u.email=u1.email);

මෙයද ක්‍රියාත්මක විය යුතුය, සමහර විට එය උත්සාහ කර බලන්න.

  Select * from Users a
            where EXISTS (Select * from Users b 
                where (     a.name = b.name 
                        OR  a.email = b.email)
                     and a.ID != b.id)

ඔබගේ නඩුවේ විශේෂයෙන් හොඳයි ඔබ යම් ආකාරයක උපසර්ගයක් හෝ සාමාන්‍ය වෙනසක් ඇති අනුපිටපත් සොයන්නේ නම් උදා. එවිට ඔබට මෙම තීරුවල ප්‍රතිස්ථාපනය () භාවිතා කළ හැකිය

ඔබට අනුපිටපත් දත්ත සොයා ගැනීමට අවශ්‍ය නම් (නිර්ණායක එකක් හෝ කිහිපයක්) සහ සත්‍ය පේළි තෝරන්න.

with MYCTE as (
    SELECT DuplicateKey1
        ,DuplicateKey2 --optional
        ,count(*) X
    FROM MyTable
    group by DuplicateKey1, DuplicateKey2
    having count(*) > 1
) 
SELECT E.*
FROM MyTable E
JOIN MYCTE cte
ON E.DuplicateKey1=cte.DuplicateKey1
    AND E.DuplicateKey2=cte.DuplicateKey2
ORDER BY E.DuplicateKey1, E.DuplicateKey2, CreatedAt

http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/

SELECT name, email,COUNT(email) 
FROM users 
WHERE email IN (
    SELECT email 
    FROM users 
    GROUP BY email 
    HAVING COUNT(email) > 1)

අනුපිටපත් ඇති නම් මකා දැමීමට

;WITH CTE AS    
(

    SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY name) AS T FROM     @YourTable    
)

DELETE FROM CTE WHERE T > 1

වගුවක අනුපිටපත් වාර්තාවෙන් පරීක්ෂා කිරීමට.

select * from users s 
where rowid < any 
(select rowid from users k where s.name = k.name and s.email = k.email);

හෝ

select * from users s 
where rowid not in 
(select max(rowid) from users k where s.name = k.name and s.email = k.email);

වගුවක අනුපිටපත් වාර්තාව මකා දැමීමට.

delete from users s 
where rowid < any 
(select rowid from users k where s.name = k.name and s.email = k.email);

හෝ

delete from users s 
where rowid not in 
(select max(rowid) from users k where s.name = k.name and s.email = k.email);

මෙහි වැදගත්ම දෙය වන්නේ වේගවත්ම ක්‍රියාකාරිත්වය තිබීමයි. අනුපිටපත් වල දර්ශක ද හඳුනාගත යුතුය. ස්වයං සම්බන්ධ වීම හොඳ විකල්පයක් වන නමුත් වේගවත් ශ්‍රිතයක් ලබා ගැනීම සඳහා පළමුව අනුපිටපත් ඇති පේළි සොයා ගැනීම වඩා හොඳ වන අතර පසුව අනුපිටපත් පේළි වල හැඳුනුම්පත සොයා ගැනීම සඳහා මුල් වගුව සමඟ සම්බන්ධ වන්න. අවසාන වශයෙන් හැඳුනුම්පත හැර ඕනෑම තීරුවකින් අනුපිටපත් පේළි එකිනෙකට ආසන්නව ඇණවුම් කරන්න.

SELECT u.*
FROM users AS u
JOIN (SELECT username, email
      FROM users
      GROUP BY username, email
      HAVING COUNT(*)>1) AS w
ON u.username=w.username AND u.email=w.email
ORDER BY u.email;

SELECT column_name,COUNT(*) FROM TABLE_NAME GROUP BY column1, HAVING COUNT(*) > 1;

පහත දැක්වෙන පරිදි සමස්ථ කාර්යයන් සඳහා ක්‍රියා කරන අපට මෙහි තිබීම භාවිතා කළ හැකිය

create table #TableB (id_account int, data int, [date] date)
insert into #TableB values (1 ,-50, '10/20/2018'),
(1, 20, '10/09/2018'),
(2 ,-900, '10/01/2018'),
(1 ,20, '09/25/2018'),
(1 ,-100, '08/01/2018')  

SELECT id_account , data, COUNT(*)
FROM #TableB
GROUP BY id_account , data
HAVING COUNT(id_account) > 1

drop table #TableB

මෙහි ක්ෂේත්‍ර දෙකක් ලෙස id_account සහ දත්ත ගණන් (*) සමඟ භාවිතා වේ. එබැවින්, එය තීරු දෙකෙහිම එක ගුණයකට වඩා වැඩි අගයන් ඇති සියලුම වාර්තා ලබා දෙනු ඇත.

SQL සේවාදායක වගුවේ කිසියම් බාධකයක් එක් කිරීමට අපට වැරදී ඇති බවට යම් හේතුවක් වැරදීමකින් සිදුවී ඇති අතර ඉදිරිපස යෙදුම සමඟ සියලුම තීරු වල වාර්තා අනුපිටපත් ඇතුළත් කර ඇත. වගුවෙන් අනුපිටපත් විමසුම මකා දැමීමට අපට පහත විමසුම භාවිතා කළ හැකිය.

SELECT DISTINCT * INTO #TemNewTable FROM #OriginalTable
TRUNCATE TABLE #OriginalTable
INSERT INTO #OriginalTable SELECT * FROM #TemNewTable
DROP TABLE #TemNewTable

මෙන්න අපි orignal table හි සියලු සුවිශේෂී වාර්තා ගෙන මුල් වගුවේ වාර්තා මකා දැමුවෙමු. නැවතත් අපි නව වගුවේ සිට මුල් වගුව දක්වා සියලු වෙනස් අගයන් ඇතුළත් කර නව වගුව මකා දැමුවෙමු.

ඔබට මෙය උත්සාහ කිරීමට අවශ්‍ය විය හැකිය

SELECT NAME, EMAIL, COUNT(*)
FROM USERS
GROUP BY 1,2
HAVING COUNT(*) > 1

අනුපිටපත් ඉවත් කිරීම සඳහා ඔබට SELECT DISTINCT යතුරු පදය භාවිතා කළ හැකිය. ඔබට නමින් පෙරහන් කළ හැකි අතර එම නම ඇති සියල්ලන් මේසය මත ලබා ගත හැකිය.

ඔබට අනුපිටපත් පේළි සොයා ගැනීමට අවශ්‍යද යන්න හෝ එකම ඊමේල් සහ නම සහිත වෙනස් අයිඩී පමණක් තිබේද යන්න මත පදනම්ව නිශ්චිත කේතය වෙනස් වේ. හැඳුනුම්පත ප්‍රාථමික යතුරක් හෝ වෙනත් ආකාරයකින් අද්විතීය බාධකයක් තිබේ නම් මෙම වෙනස නොපවතී, නමුත් ප්‍රශ්නය මෙය සඳහන් නොකරයි. කලින් අවස්ථාවකදී ඔබට වෙනත් පිළිතුරු කිහිපයකින් ලබා දී ඇති කේතය භාවිතා කළ හැකිය:

SELECT name, email, COUNT(*)
FROM users
GROUP BY name, email
HAVING COUNT(*) > 1

අවසාන අවස්ථාවේදී ඔබ භාවිතා කරන්නේ:

SELECT name, email, COUNT(DISTINCT id)
FROM users
GROUP BY name, email
HAVING COUNT(DISTINCT id) > 1
ORDER BY COUNT(DISTINCT id) DESC