Эффективное деление списков на сегменты в языке Python

Как разбить список на N примерно равных частей?

Для равномерного распределения элементов по заданному числу частей используется расчет базового размера и остатка.

def split_into_n_parts(lst, n):
    avg = len(lst) // n
    remainder = len(lst) % n
    result = []
    start = 0
    for i in range(n):
        end = start + avg + (1 if i < remainder else 0)
        result.append(lst[start:end])
        start = end
    return result

print(split_into_n_parts([1,2,3,4,5,6,7], 3))

[[1, 2, 3], [4, 5], [6, 7]]

Цель: разбить данные на группы для параллельной обработки, когда количество групп фиксировано.

Как использовать itertools.islice для создания генератора частей?

Для экономии памяти и работы с большими списками удобно применять итератор, который возвращает части по мере необходимости.

from itertools import islice

def chunked_iter(lst, chunk_size):
    it = iter(lst)
    return iter(lambda: list(islice(it, chunk_size)), [])

for chunk in chunked_iter(range(10), 3):
    print(chunk)

[0, 1, 2]
[3, 4, 5]
[6, 7, 8]
[9]

Этот метод не создает промежуточный список всех частей, что уменьшает потребление памяти.

Как разбить список с помощью zip и итераторов?

Классический трюк - объединение нескольких итераторов в один с помощью zip, но с предварительным созданием копий итератора.

def chunked_zip(lst, chunk_size):
    return [list(t) for t in zip(*[iter(lst)]*chunk_size)]

print(chunked_zip([1,2,3,4,5,6,7], 3))

[[1, 2, 3], [4, 5, 6]]

Важно: последний неполный блок отбрасывается. Это может быть нежелательно.

Цель: краткая запись, когда отбрасывание хвоста приемлемо.

Как использовать numpy для разбиения списка на части?

Если в проекте уже используется библиотека NumPy, функция numpy.array_split обеспечивает равномерное разбиение.

import numpy as np

my_list = [1,2,3,4,5,6,7,8,9,10]
parts = np.array_split(my_list, 3)
print(parts)

[array([1, 2, 3, 4]), array([5, 6, 7]), array([8, 9, 10])]

Результат - массив массивов. Для преобразования в списки: [list(p) for p in parts].

Как разбить список с помощью библиотеки more_itertools?

Библиотека more_itertools содержит готовую функцию chunked, которая возвращает список частей.

from more_itertools import chunked

my_list = [1,2,3,4,5,6,7,8]
print(list(chunked(my_list, 3)))

[[1, 2, 3], [4, 5, 6], [7, 8]]

Также есть ichunked для ленивого вычисления.

Как разбить список с помощью простого цикла for?

Иногда требуется более гибкое управление, например, с дополнительной обработкой каждого блока.

def split_manual(lst, chunk_size):
    chunks = []
    for i in range(0, len(lst), chunk_size):
        chunk = lst[i:i+chunk_size]
        # дополнительная обработка
        chunks.append(chunk)
    return chunks

print(split_manual([1,2,3,4,5], 2))

[[1, 2], [3, 4], [5]]

Цель: ясность кода, возможность вставить логику между блоками.