Запись логов в файл средствами языка Python

Продвинутые примеры логирования в файл

Как использовать конфигурацию через словарь?

Модуль logging.config позволяет задать настройки с помощью словаря или конфигурационного файла. Это удобно для больших проектов.

import logging.config

config = {
    'version': 1,
    'handlers': {
        'file': {
            'class': 'logging.FileHandler',
            'filename': 'dict_config.log',
            'formatter': 'simple'
        }
    },
    'formatters': {
        'simple': {
            'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
        }
    },
    'root': {
        'level': 'INFO',
        'handlers': ['file']
    }
}

logging.config.dictConfig(config)
logging.info('Логирование настроено через словарь')

2025-03-21 10:15:30,123 - root - INFO - Логирование настроено через словарь

Конфигурация через словарь позволяет гибко управлять логгерами, форматтерами и фильтрами без изменения кода.

Как логировать исключения с полным traceback?

Для записи стека вызова при исключении используется метод exception или параметр exc_info=True.

import logging

logging.basicConfig(filename='errors.log', level=ERROR)

try:
    1/0
except ZeroDivisionError:
    logging.exception('Произошла ошибка деления на ноль')

ERROR - Произошла ошибка деления на ноль
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
ZeroDivisionError: division by zero

Метод exception автоматически добавляет traceback. Важно: он работает только внутри блока except.

Как применить фильтры для выборочного логирования?

Фильтры позволяют контролировать, какие сообщения попадают в файл. Например, можно отфильтровать сообщения от определенного модуля.

import logging

class ModuleFilter(logging.Filter):
    def filter(self, record):
        return record.name.startswith('important')

handler = logging.FileHandler('filtered.log')
handler.addFilter(ModuleFilter())
logger = logging.getLogger('important.module')
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)

logger.info('Это сообщение будет записано')
logging.getLogger('other').info('Это сообщение не будет')

Содержимое filtered.log: 2025-03-21 10:15:30,123 - important.module - INFO - Это сообщение будет записано

Фильтры добавляются к обработчику или логгеру. В примере записываются только сообщения от логгеров, имя которых начинается с 'important'.

Как организовать асинхронное логирование в файл?

При высоконагруженных приложениях запись логов может стать узким местом. Асинхронное логирование с использованием QueueHandler и QueueListener решает эту проблему.

import logging
import logging.handlers
from queue import Queue

log_queue = Queue(-1)
queue_handler = logging.handlers.QueueHandler(log_queue)
file_handler = logging.FileHandler('async.log')
file_handler.setFormatter(logging.Formatter('%(asctime)s - %(message)s'))

listener = logging.handlers.QueueListener(log_queue, file_handler, respect_handler_level=True)
listener.start()

logger = logging.getLogger('async')
logger.addHandler(queue_handler)
logger.setLevel(logging.INFO)

logger.info('Асинхронное сообщение 1')
logger.info('Асинхронное сообщение 2')

listener.stop()

Логи отправляются в очередь, а отдельный поток извлекает их и записывает в файл. Это снижает задержки в основном потоке. Важно не забыть остановить слушатель после завершения работы.

Как сохранять логи в формате JSON?

Для интеграции с системами анализа логов (например, ELK) удобно хранить сообщения в JSON. Для этого используется сторонняя библиотека python-json-logger.

from pythonjsonlogger import jsonlogger
import logging

handler = logging.FileHandler('app.json')
formatter = jsonlogger.JsonFormatter('%(asctime)s %(levelname)s %(name)s %(message)s')
handler.setFormatter(formatter)

logger = logging.getLogger('json_example')
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)

logger.info('Тестовое сообщение', extra={'user': 'admin', 'process_id': 123})

{"asctime": "2025-03-21 10:15:30,123", "levelname": "INFO", "name": "json_example", "message": "Тестовое сообщение", "user": "admin", "process_id": 123}

Каждое сообщение превращается в JSON-объект, что упрощает парсинг. Библиотека устанавливается командой pip install python-json-logger.