Эффективное управление конфигурациями в Python с примерами

Расширенные сценарии конфигурирования в Python

Валидация конфигурации с Pydantic Settings

Библиотека pydantic-settings (наследник pydantic) позволяет описывать структуру конфигурации в виде класса с типами, автоматически загружая данные из переменных окружения, файлов (.env, .yaml, .json) или их комбинации.

# pip install pydantic-settings
from pydantic_settings import BaseSettings, SettingsConfigDict

class AppSettings(BaseSettings):
    model_config = SettingsConfigDict(env_file='.env', env_file_encoding='utf-8')

    db_host: str = 'localhost'
    db_port: int = 5432
    db_password: str = ''      # секрет из .env
    debug: bool = False

settings = AppSettings()
print(f'Хост: {settings.db_host}, порт: {settings.db_port}, debug: {settings.debug}')

Хост: localhost, порт: 5432, debug: False

При отсутствии обязательного поля (без значения по умолчанию) Pydantic выбрасывает ValidationError. Это позволяет отлавливать ошибки конфигурации на этапе запуска приложения.

Объединение нескольких источников конфигурации с приоритетами

Допустим, нужно читать общие настройки из файла, а локальные (для разработчика) из переменных окружения. Можно реализовать простое слияние словарей.

import yaml
import os

def load_config():
    # Базовые настройки из YAML
    with open('config.yaml', 'r') as f:
        config = yaml.safe_load(f)

    # Переменные окружения с префиксом APP_ перезаписывают значения
    for key, value in os.environ.items():
        if key.startswith('APP_'):
            config_key = key[4:].lower()  # убираем префикс
            # Рекурсивно устанавливаем вложенные ключи (простой пример)
            if config_key in config:
                config[config_key] = value
    return config

cfg = load_config()
print(cfg.get('debug'))

True   # если установлена переменная APP_DEBUG=true

Динамический выбор формата конфигурации по расширению файла

Иногда нужно поддерживать несколько форматов настроек. Следующий код загружает файл в зависимости от его расширения.

import json, yaml, configparser, tomllib, os

def load_conf(path):
    ext = os.path.splitext(path)[1].lower()
    with open(path, 'r', encoding='utf-8') as f:
        if ext == '.json':
            return json.load(f)
        elif ext in ('.yaml', '.yml'):
            return yaml.safe_load(f)
        elif ext == '.ini':
            cfg = configparser.ConfigParser()
            cfg.read_file(f)
            # Преобразуем в обычный словарь
            return {s: dict(cfg.items(s)) for s in cfg.sections()}
        elif ext == '.toml':
            # f нужно открывать в бинарном режиме, поэтому перечитаем
            with open(path, 'rb') as fb:
                return tomllib.load(fb)
        else:
            raise ValueError(f'Неизвестный формат: {ext}')

conf = load_conf('settings.toml')
print(type(conf), conf.keys())

<class 'dict'> dict_keys(['database', 'logging'])

Защита секретов с помощью шифрования в файле конфигурации

Для хранения паролей в файле можно использовать симметричное шифрование (например, через библиотеку cryptography). Ключ шифрования хранится отдельно (в переменной окружения).

# pip install cryptography
from cryptography.fernet import Fernet
import os

# Генерируем или загружаем ключ (например, из ENV)
key = os.environ.get('CONFIG_KEY')
if not key:
    key = Fernet.generate_key()
    print(f'Сгенерирован новый ключ. Сохраните его в переменной CONFIG_KEY: {key.decode()}')

cipher = Fernet(key)

# Зашифрованные данные в конфиг файле
encrypted_password = "gAAAAABn4dZp..."  # пример шифротекста

# Расшифровка
real_password = cipher.decrypt(encrypted_password.encode()).decode()
print(f'Пароль расшифрован: {real_password}')

Пароль расшифрован: supersecret

Важно: ключ шифрования сам по себе должен быть защищён. Хранить его в репозитории нельзя.

Использование dataclass для строго типизированной конфигурации

Вместо Pydantic можно воспользоваться dataclasses и написать свою функцию загрузки.

from dataclasses import dataclass
import json

@dataclass
class DatabaseConfig:
    host: str
    port: int
    db_name: str

@dataclass
class AppConfig:
    database: DatabaseConfig
    debug: bool = False

    @classmethod
    def from_json(cls, path):
        with open(path) as f:
            data = json.load(f)
        db = DatabaseConfig(**data['database'])
        return cls(database=db, debug=data.get('debug', False))

config = AppConfig.from_json('config.json')
print(config.database.host, config.debug)

localhost False

При несоответствии типов в JSON (например, строка вместо числа) возникнет TypeError. Рекомендуется добавить ручную валидацию в методе from_json.