Как вызывать системные команды из скриптов Python

Расширенные примеры вызова команд из Python

В этом разделе представлены нестандартные и углубленные примеры работы с внешними процессами. Каждый пример снабжен кодом и выводом (если применимо).

Пример 1. Запуск конвейера из нескольких команд без shell

import subprocess

# Эквивалент: ls /var/log | grep *.log | head -5
p1 = subprocess.Popen(['ls', '/var/log'], stdout=subprocess.PIPE, text=True)
p2 = subprocess.Popen(['grep', '\\.log'], stdin=p1.stdout, stdout=subprocess.PIPE, text=True)
p3 = subprocess.Popen(['head', '-5'], stdin=p2.stdout, stdout=subprocess.PIPE, text=True)
p1.stdout.close()  # разрешаем p1 получить SIGPIPE, если p2 завершится раньше
p2.stdout.close()
output = p3.communicate()[0]
print('Вывод конвейера:')
print(output)

Вывод конвейера:
Xorg.0.log
Xorg.0.log.old
alternatives.log
dpkg.log
fontconfig.log

Пояснение: каждый процесс подключается к stdout предыдущего. Важно закрывать ненужные дескрипторы, чтобы избежать зависания.

Пример 2. Передача данных на stdin и получение stdout/stderr

import subprocess

proc = subprocess.Popen(['tr', 'a-z', 'A-Z'],
                        stdin=subprocess.PIPE,
                        stdout=subprocess.PIPE,
                        stderr=subprocess.PIPE,
                        text=True)
out, err = proc.communicate(input='hello world\nfrom python')
print('stdout:', out)
print('stderr:', err)

stdout: HELLO WORLD
FROM PYTHON
stderr:

Метод communicate удобен, когда нужно передать данные в процесс целиком. Он считывает весь вывод и ждёт завершения.

Пример 3. Использование shlex для безопасной разборки командной строки

import subprocess
import shlex

command_line = 'cat /etc/passwd | grep -v ^#'
args = shlex.split(command_line)  # ['cat', '/etc/passwd', '|', 'grep', '-v', '^#']
# Но это не пайп! Правильнее обрабатывать как конвейер отдельно.
# Пример: просто вызов одной команды с аргументами:
result = subprocess.run(shlex.split('ls -la --color=never'), capture_output=True, text=True)
print(result.stdout[:200])

shlex.split строго разбирает команду как shell, но не создаёт пайпы. Для пайпов нужен Popen. Полезно для безопасной разбивки на аргументы без shell.

Пример 4. Запуск процесса с переменными окружения

import subprocess
import os

env = os.environ.copy()
env['MY_VAR'] = 'value123'
result = subprocess.run(['printenv', 'MY_VAR'], env=env, capture_output=True, text=True)
print('MY_VAR:', result.stdout.strip())

MY_VAR: value123

Параметр env позволяет задать полное окружение для дочернего процесса. Копируйте os.environ, чтобы не потерять системные переменные.

Пример 5. Асинхронное выполнение с обработкой STDOUT и STDERR в реальном времени (с помощью потоков)

import subprocess
import threading

def reader(stream, label):
    for line in iter(stream.readline, ''):
        print(f'[{label}] {line.strip()}')
    stream.close()

proc = subprocess.Popen(['bash', '-c', 'for i in 1 2 3; do echo $i; sleep 0.5; done'],
                        stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)

t1 = threading.Thread(target=reader, args=(proc.stdout, 'OUT'))
t2 = threading.Thread(target=reader, args=(proc.stderr, 'ERR'))
t1.start()
t2.start()
t1.join()
t2.join()
proc.wait()

[OUT] 1
[OUT] 2
[OUT] 3

Использование потоков позволяет читать оба потока одновременно, избегая блокировок. Для реальных задач можно использовать asyncio.

Пример 6. Запуск команды с подавлением вывода и логированием в файл

import subprocess

with open('output.log', 'w') as f:
    result = subprocess.run(['ls', '-la'], stdout=f, stderr=subprocess.STDOUT, text=True)
# Код возврата можно проверить после
print('Код возврата:', result.returncode)

Вывод команды направляется прямо в файл, минуя Python. Это эффективно для больших объёмов данных.

Пример 7. Использование sh (вызов shell-команд в стиле bash) через библиотеку sh (сторонняя)

# require: pip install sh
import sh

# Вызов ls как функции
print(sh.ls('-la', '/tmp'))  # возвращает строку вывода
# Конвейеры через sh
wc = sh.wc(sh.ls('/var/log'), '-l')
print('Количество файлов:', wc.stdout.strip())

(вывод ls /tmp)
Количество файлов: 15

Библиотека sh упрощает вызов команд до стиля вызова функций, поддерживает пайпы и захват вывода. Однако она не входит в стандартную библиотеку и может быть избыточной.

Пример 8. Запуск процесса с привязкой к конкретному рабочему каталогу

import subprocess

result = subprocess.run(['pwd'], cwd='/tmp', capture_output=True, text=True)
print('Текущий каталог в процессе:', result.stdout.strip())

Текущий каталог в процессе: /tmp

Параметр cwd меняет рабочий каталог для дочернего процесса. Обратите внимание, что пути в аргументах команды должны быть скорректированы вручную.