Поиск повторяющихся значений в Python: от простого списка до массивов

Сравнение производительности методов на большом наборе данных

Для списка из 100 000 случайных целых чисел от 0 до 1000 измерено время выполнения каждого метода.

import timeit
import numpy as np
from collections import Counter
import pandas as pd

data = list(np.random.randint(0, 1000, size=100000))

def method_counter(lst):
    return [item for item, cnt in Counter(lst).items() if cnt > 1]

def method_set(lst):
    seen, dup = set(), set()
    for x in lst:
        if x in seen:
            dup.add(x)
        else:
            seen.add(x)
    return list(dup)

def method_pandas(lst):
    s = pd.Series(lst)
    return s[s.duplicated(keep=False)].unique().tolist()

def method_numpy(lst):
    arr = np.array(lst)
    unique, counts = np.unique(arr, return_counts=True)
    return unique[counts > 1].tolist()

print('Counter:', timeit.timeit('method_counter(data)', globals=globals(), number=10))
print('Set:    ', timeit.timeit('method_set(data)', globals=globals(), number=10))
print('Pandas: ', timeit.timeit('method_pandas(data)', globals=globals(), number=10))
print('NumPy:  ', timeit.timeit('method_numpy(data)', globals=globals(), number=10))

Counter: 0.145
Set:     0.132
Pandas:  0.098
NumPy:   0.087

NumPy и Pandas показывают лучшую производительность на числовых данных благодаря оптимизированным C-реализациям.

Поиск дубликатов в DataFrame с группировкой и подсчетом вхождений

Пример использования groupby для нахождения всех дублирующихся строк в DataFrame по одному столбцу.

import pandas as pd

df = pd.DataFrame({
    'id': [1,2,3,2,4,1,5],
    'value': ['a','b','c','b','d','a','e']
})
# Найти id, которые встречаются больше одного раза
duplicated_ids = df.groupby('id').filter(lambda x: len(x) > 1)['id'].unique()
print('Дублирующиеся id:', duplicated_ids.tolist())
# Подсчитать количество повторов для каждого id
duplicate_counts = df['id'].value_counts()
duplicate_counts = duplicate_counts[duplicate_counts > 1]
print('Количество повторов:')
print(duplicate_counts)

Дублирующиеся id: [1, 2]
Количество повторов:
1    2
2    2
Name: id, dtype: int64

Поиск дубликатов в многомерном массиве NumPy (по строкам)

Для двумерного массива можно найти повторяющиеся строки, используя уникальность с axis=0.

import numpy as np

arr = np.array([[1,2],[3,4],[1,2],[5,6],[3,4]])
# Найти уникальные строки и их индексы
unique_rows, indices, counts = np.unique(arr, axis=0, return_inverse=True, return_counts=True)
duplicate_rows = unique_rows[counts > 1]
print('Повторяющиеся строки:')
print(duplicate_rows)
# Также можно получить позиции повторений
for row in duplicate_rows:
    mask = (arr == row).all(axis=1)
    print(f'Строка {row} встречается в индексах: {np.where(mask)[0]}')

Повторяющиеся строки:
[[1 2]
 [3 4]]
Строка [1 2] встречается в индексах: [0 2]
Строка [3 4] встречается в индексах: [1 4]

Использование Counter.most_common для нахождения самых частых дубликатов

Если нужно не просто найти повторы, а выявить самые часто встречающиеся элементы, удобно использовать метод most_common.

from collections import Counter

lst = ['apple','banana','apple','orange','banana','banana','kiwi']
counter = Counter(lst)
most_common = counter.most_common(2)  # два самых частых
print('Самые частые:')
for item, count in most_common:
    print(f'  {item}: {count} раз')
# Фильтрация только дубликатов, отсортированных по убыванию
duplicates_sorted = sorted(
    [(item, count) for item, count in counter.items() if count > 1],
    key=lambda x: x[1],
    reverse=True
)
print('Все дубликаты по убыванию частоты:', duplicates_sorted)

Самые частые:
  banana: 3 раз
  apple: 2 раз
Все дубликаты по убыванию частоты: [('banana', 3), ('apple', 2)]

Поиск дубликатов с сохранением исходного порядка в списке (с использованием OrderedDict)

Если важен порядок, в котором дубликаты были обнаружены (первое вхождение), можно применить OrderedDict.

from collections import OrderedDict

def find_duplicates_ordered(lst):
    seen = OrderedDict()
    duplicates = []
    for item in lst:
        if item in seen:
            if seen[item] == 1:  # первый раз встретили дубликат
                duplicates.append(item)
                seen[item] += 1
            else:
                seen[item] += 1
        else:
            seen[item] = 1
    return duplicates

lst = [3,1,2,1,5,3,1]
print('Дубликаты в порядке обнаружения:', find_duplicates_ordered(lst))

Дубликаты в порядке обнаружения: [1, 3]