Файловый ввод-вывод в Python: основные методы и нестандартные решения

Расширенные примеры работы с файлами

Чтение и запись больших файлов с поблочной буферизацией

Для копирования или обработки файлов размером более нескольких сотен мегабайт используйте чтение фиксированными блоками.

BLOCK_SIZE = 65536  # 64 КБ
with open('source_large.bin', 'rb') as src, open('dest_large.bin', 'wb') as dst:
    while True:
        block = src.read(BLOCK_SIZE)
        if not block:
            break
        dst.write(block)

Такой подход позволяет не загружать весь файл в память и подходит для любых бинарных данных.

Результат: файл скопирован поблочно, память не перегружена.

Отображение файла в память с помощью mmap

Модуль mmap позволяет работать с файлом как с изменяемой строкой, что ускоряет случайный доступ.

import mmap

with open('example.txt', 'r+b') as f:
    # Отображаем весь файл в память
    with mmap.mmap(f.fileno(), 0) as mm:
        # Поиск подстроки и замена
        pos = mm.find(b'old_text')
        if pos != -1:
            mm[pos:pos+8] = b'new_text'
        # Чтение первых 10 символов
        print(mm[:10])

b'new_text a'

Важно: mmap работает быстрее при частых позиционных чтениях/записях, но требует аккуратности (не забывайте синхронизировать).

Временные файлы с автоматическим удалением

Модуль tempfile создаёт временные файлы, которые удаляются после закрытия.

import tempfile

with tempfile.NamedTemporaryFile(mode='w', delete=False, suffix='.txt') as tmp:
    tmp.write('временные данные')
    tmp_path = tmp.name
print('Файл создан:', tmp_path)
# Файл не удалён, так как delete=False

# Для автоматического удаления используйте delete=True (по умолчанию)
with tempfile.TemporaryDirectory() as tmp_dir:
    print('Временная директория:', tmp_dir)

Файл создан: /tmp/tmpXXXXXX.txt
Временная директория: /tmp/tmpXXXXXX/

Чтение конфигурационных INI-файлов

Модуль configparser предназначен для работы с файлами конфигурации.

import configparser

config = configparser.ConfigParser()
config.read('settings.ini', encoding='utf-8')

# Доступ к секции и параметру
print(config['DEFAULT']['host'])

Содержимое settings.ini:

[DEFAULT]
host = localhost
port = 8080

localhost

Обработка файлов с нестандартной кодировкой

Иногда встречаются файлы в кодировке cp1251 или latin-1. Укажите соответствующую кодировку при открытии.

import chardet

# Автоматическое определение кодировки (установите chardet: pip install chardet)
with open('unknown.txt', 'rb') as f:
    raw = f.read(10000)
    result = chardet.detect(raw)
    encoding = result['encoding']
print('Определённая кодировка:', encoding)

with open('unknown.txt', 'r', encoding=encoding) as f:
    content = f.read()

Определённая кодировка: Windows-1251

Параллельная обработка нескольких файлов с помощью multiprocessing

Для ускорения обработки множества файлов используйте пул процессов.

from multiprocessing import Pool
import os

def process_file(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        return len(f.read())

if __name__ == '__main__':
    files = ['file1.txt', 'file2.txt', 'file3.txt']
    with Pool(processes=2) as pool:
        results = pool.map(process_file, files)
    print('Размеры файлов:', results)

Размеры файлов: [1024, 2048, 512]

Генератор для построчного чтения с фильтрацией

Создание генератора, который возвращает строки, удовлетворяющие условию.

def filtered_lines(file_path, keyword):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if keyword in line:
                yield line

for line in filtered_lines('log.txt', 'ERROR'):
    print(line.strip())

Генератор не хранит все строки в памяти.

Работа с ZIP-архивами как с файловой системой

Модуль zipfile позволяет читать и записывать файлы внутри архива.

import zipfile

with zipfile.ZipFile('archive.zip', 'w') as zf:
    zf.write('data.txt', arcname='backup/data.txt')

with zipfile.ZipFile('archive.zip', 'r') as zf:
    with zf.open('backup/data.txt') as f:
        content = f.read().decode('utf-8')
        print(content)

(содержимое data.txt)

Чтение и запись Excel-файлов с openpyxl

Библиотека openpyxl (установите через pip) позволяет работать с файлами .xlsx.

from openpyxl import Workbook, load_workbook

wb = Workbook()
ws = wb.active
ws['A1'] = 'Привет'
ws['B1'] = 'Мир'
wb.save('hello.xlsx')

wb2 = load_workbook('hello.xlsx')
ws2 = wb2.active
print(ws2['A1'].value, ws2['B1'].value)

Привет Мир

Логирование операций с файлами

Используйте модуль logging для отслеживания операций.

import logging

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

try:
    with open('data.txt', 'r') as f:
        logger.info('Файл успешно открыт')
        # обработка
except FileNotFoundError:
    logger.error('Файл не найден')

Логи помогут при отладке программ, работающих с множеством файлов.