Выделение уникальных записей из списков Python

Расширенные примеры получения уникальных элементов

Ниже приведены подробные примеры кода с пояснениями и результатами для редких и сложных случаев.

1. Преобразование вложенных списков в кортежи для использования set

Если вложенные списки можно превратить в кортежи, set становится применим. Это полезно для списков с небольшим количеством вложений.

original = [[1,2], [3,4], [1,2], [5,6]]
tuple_list = [tuple(sublist) for sublist in original]
unique_tuples = list(set(tuple_list))
unique_nested = [list(t) for t in unique_tuples]
print(unique_nested)

[[1, 2], [5, 6], [3, 4]]

Пояснение: кортежи хэшируемы, поэтому set работает. Порядок не сохраняется. Для восстановления порядка можно дополнительно применить dict.fromkeys:

ordered_unique = list(dict.fromkeys(tuple_list))
ordered_unique = [list(t) for t in ordered_unique]
print(ordered_unique)

[[1, 2], [3, 4], [5, 6]]

2. Использование генератора для больших наборов данных с фильтрацией дубликатов на лету

Генераторная функция позволяет не хранить весь результирующий список в памяти, если дубликатов много.

def unique_gen(iterable):
    seen = set()
    for item in iterable:
        if item not in seen:
            seen.add(item)
            yield item

large_list = [i % 100 for i in range(10**6)]
unique_elements = list(unique_gen(large_list))
print(unique_elements[:10], len(unique_elements))

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 100

Такой подход эффективен по памяти: множество seen может расти, но не превышает числа уникальных элементов.

3. Уникальные элементы с подсчётом частоты через collections.Counter

Counter не только находит уникальные, но и показывает количество повторов.

from collections import Counter

data = ['apple', 'banana', 'apple', 'orange', 'banana', 'kiwi']
counter = Counter(data)
unique_with_counts = list(counter.keys())
print(unique_with_counts)
# Только элементы, встречающиеся ровно один раз:
singletons = [k for k, v in counter.items() if v == 1]
print(singletons)

['apple', 'banana', 'orange', 'kiwi']
['orange', 'kiwi']

4. Работа с массивами NumPy: numpy.unique

Для числовых данных в массивах NumPy есть встроенная функция unique с опцией возврата индексов.

import numpy as np

arr = np.array([3, 1, 2, 1, 3, 4, 2])
unique_vals, indices = np.unique(arr, return_index=True)
print("Уникальные:", unique_vals)
print("Индексы первых вхождений:", indices)

Уникальные: [1 2 3 4]
Индексы первых вхождений: [1 2 0 5]

Если нужно сохранить порядок первого вхождения, можно отсортировать индексы:

order = np.argsort(indices)
unique_ordered = unique_vals[order]
print(unique_ordered)

[3 1 2 4]

5. Рекурсивное извлечение уникальных элементов из глубоко вложенных структур

Когда список содержит произвольные вложенные списки, можно рекурсивно обходить их, приводя к плоскому списку, а затем удалять дубликаты.

def flatten(lst):
    result = []
    for item in lst:
        if isinstance(item, list):
            result.extend(flatten(item))
        else:
            result.append(item)
    return result

def unique_flattened(nested):
    flat = flatten(nested)
    return list(dict.fromkeys(flat))

data = [1, [2, 3], [1, [2, 4, 3]], 5]
print(unique_flattened(data))

[1, 2, 3, 4, 5]