Управление проектом Python: как правильно составить файл requirements.txt

Расширенные примеры и нестандартные сценарии

Пример 1: requirements.txt с диапазонами версий и ограничениями

Файл может содержать не только точные версии, но и диапазоны, а также комментарии:

# Основные зависимости
Django>=3.2,<4.0
celery>=5.0,!=5.0.1
pandas~=1.3.0  # эквивалентно >=1.3.0,==1.3.*
--extra-index-url https://private-pypi.example.com/simple
private-package==1.0

Комментарии начинаются с #. Опция --extra-index-url позволяет указать дополнительный индекс пакетов (полезно для частных репозиториев). Результат установки: все перечисленные пакеты будут установлены с учётом ограничений.

Пример 2: Использование pip freeze с фильтрацией под Windows и Linux

Чтобы исключить системные пакеты из вывода, применяют grep (Linux) или findstr (Windows).

Linux (bash):

pip freeze | grep -v -E '^(pip|setuptools|wheel|distribute)@' | grep -v '^#' > requirements.txt

Windows (PowerShell):

pip freeze | Select-String -NotMatch '^(pip|setuptools|wheel|distribute)@' | Set-Content requirements.txt

Эти команды удалят строки, начинающиеся с указанных имён. Результат: чистый файл без встроенных системных пакетов.

Пример 3: Создание requirements.txt из Pipenv с группировкой по категориям

Pipenv позволяет экспортировать обычные и dev-зависимости в разные файлы, а также добавить каналы:

cd /путь/к/проекту
pipenv lock -r --dev > requirements-dev.txt
pipenv lock -r > requirements.txt

Если проект использует несколько Python-версий, можно указать конкретную версию через переменную среды:

PYTHON=python3.9 pipenv lock -r > requirements-py39.txt

Результат: два отдельных файла, один для продакшна, другой для разработки.

Пример 4: poetry export для проекта с git-зависимостями

В pyproject.toml могут быть зависимости, указанные как git-репозитории:

[tool.poetry.dependencies]
my-lib = {git = "https://github.com/user/my-lib.git", branch = "main"}

При экспорте через poetry export такие зависимости преобразуются в формат:

git+https://github.com/user/my-lib.git@<commit-hash>

Пример команды:

poetry export -f requirements.txt --without-hashes -o requirements.txt

Вывод (пример):

certifi==2023.11.17
git+https://github.com/user/my-lib.git@a1b2c3d4e5f6
requests==2.31.0

Флаг --without-hashes убирает хэши, если они не нужны.

Пример 5: Генерация requirements.txt с помощью pipreqs для проекта с несколькими модулями

Предположим, структура проекта:

my_project/
   main.py
   utils/
       __init__.py
       helpers.py

Запуск pipreqs из корня (с флагом --scan-notebooks для Jupyter-ноутбуков):

pipreqs . --force --scan-notebooks

Если проект использует специфичные импорты, например from cryptography.fernet import Fernet, pipreqs правильно определит пакет cryptography и запишет его в файл. Возможный результат:

cryptography==41.0.7
requests==2.31.0

При этом os, sys и другие встроенные модули не попадут в список.

Пример 6: Использование pip-compile для создания файла с хэшами и проверкой целостности

Команда с опцией --generate-hashes добавляет SHA-256 хэши для каждой зависимости:

pip-compile --generate-hashes --output-file=requirements-hashed.txt requirements.in

Содержимое requirements-hashed.txt будет включать строки вида:

flask==2.3.3 \
    --hash=sha256:... \
    --hash=sha256:...
requests==2.31.0 \
    --hash=sha256:...

Такие файлы обеспечивают повторяемость установки, так как пип проверяет хэши скачанных пакетов.

Пример 7: Объединение нескольких requirements-файлов

Часто требуется сборка итогового файла из нескольких источников. Например, есть requirements-base.txt (общие зависимости) и requirements-dev.txt (для разработки). Их можно объединить, удаляя дубликаты:

cat requirements-base.txt requirements-dev.txt | sort | uniq > requirements-all.txt

Под Linux. На Windows (PowerShell):

Get-Content requirements-base.txt, requirements-dev.txt | Sort-Object | Get-Unique | Set-Content requirements-all.txt

Результат: единый файл, содержащий все пакеты без повторений.

Пример 8: Автоматическое обновление requirements.txt при помощи pre-commit хука

В репозиторий можно добавить файл .pre-commit-config.yaml:

repos:
  - repo: https://github.com/pypa/pip-audit
    rev: v2.6.1
    hooks:
      - id: pip-audit
        args: ["-r", "requirements.txt"]

Такой хук при каждом коммите проверяет уязвимости в зависимостях. Аналогично можно автоматически запускать pip-compile при изменении requirements.in.