Многопроцессорное программирование: создание и управление процессами

Как запустить множество однотипных задач в пуле процессов?

Для параллельного выполнения большого числа независимых задач удобно использовать multiprocessing.Pool. Он автоматически распределяет задачи по фиксированному числу процессов.

from multiprocessing import Pool
import os

def square(n):
    return n * n

if __name__ == '__main__':
    with Pool(processes=4) as pool:
        result = pool.map(square, range(10))
    print(result)

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

Объяснение: Pool(4) создает 4 процесса. pool.map применяет функцию ко всем элементам и возвращает результаты в порядке вызова. with гарантирует закрытие пула.

Как использовать современный API для пула процессов?

Модуль concurrent.futures предоставляет высокоуровневый интерфейс ProcessPoolExecutor, аналогичный пула потоков.

from concurrent.futures import ProcessPoolExecutor
import os

def cube(x):
    return x**3

if __name__ == '__main__':
    with ProcessPoolExecutor(max_workers=3) as executor:
        results = list(executor.map(cube, range(10)))
    print(results)

[0, 1, 8, 27, 64, 125, 216, 343, 512, 729]

Здесь map возвращает итератор, преобразуемый в список. ProcessPoolExecutor автоматически управляет рабочими процессами.

Как создать процесс с помощью системного вызова fork?

На Unix-системах доступен низкоуровневый вызов os.fork(). Он создает точную копию текущего процесса (родительский и дочерний) с разными PID.

import os

if __name__ == '__main__':
    pid = os.fork()
    if pid == 0:
        print(f'Дочерний процесс: PID {os.getpid()}, родительский PID {os.getppid()}')
    else:
        print(f'Родительский процесс: PID {os.getpid()}, дочерний PID {pid}')

(пример вывода на Unix)
Родительский процесс: PID 1000, дочерний PID 1001
Дочерний процесс: PID 1001, родительский PID 1000

Важно: fork() не работает на Windows. После fork оба процесса продолжают выполнение с одной точки. Для различения используется возвращаемое значение (0 в дочернем, PID дочернего в родительском).

Как запустить внешнюю программу как отдельный процесс?

Для выполнения внешних программ (например, утилит командной строки) применяется модуль subprocess. Он создает новый процесс с указанной командой.

import subprocess
result = subprocess.run(['echo', 'Hello from subprocess'], capture_output=True, text=True)
print(result.stdout)

Hello from subprocess

Функция run ожидает завершения процесса. capture_output=True позволяет получить stdout и stderr. Popen предоставляет более гибкое управление.

Как создать кастомный процесс с состоянием?

Класс Process можно наследовать и переопределить метод run() для реализации сложной логики с внутренним состоянием.

from multiprocessing import Process

class MyProcess(Process):
    def __init__(self, name):
        super().__init__()
        self.name = name

    def run(self):
        print(f'Процесс {self.name} выполняется')

if __name__ == '__main__':
    p = MyProcess('Test')
    p.start()
    p.join()

Этот подход удобен, когда процесс должен хранить собственные данные или иметь сложный жизненный цикл.

Как выбрать метод запуска процесса (spawn, fork, forkserver)?

Модуль multiprocessing поддерживает три метода: fork (Unix, копия), spawn (Windows по умолчанию, запуск нового интерпретатора), forkserver (Unix, серверный процесс). Выбор влияет на производительность и безопасность.

import multiprocessing as mp

def worker():
    print('Работает')

if __name__ == '__main__':
    mp.set_start_method('spawn')  # или 'fork', 'forkserver'
    p = mp.Process(target=worker)
    p.start()
    p.join()

Метод spawn безопаснее, но медленнее, так как загружает модуль заново. fork быстрее, но может вызывать проблемы с блокировками. forkserver является компромиссом.