Практические задания по файловому вводу-выводу в Python для опытных разработчиков

Расширенные примеры работы с файлами в Python

Пример 1: Использование mmap для быстрого поиска в большом файле

Для очень больших файлов может потребоваться низкоуровневый доступ к памяти. Модуль mmap отображает файл в виртуальную память, позволяя работать с ним как с байтовым массивом.

import mmap

with open('access.log', 'r+b') as f:
    mm = mmap.mmap(f.fileno(), 0)
    offset = 0
    errors = []
    while True:
        pos = mm.find(b' 5', offset)
        if pos == -1:
            break
        end = mm.find(b'\n', pos)
        if end == -1:
            end = len(mm)
        line = mm[pos:end].decode('utf-8')
        errors.append(line)
        offset = end + 1
    mm.close()

with open('errors_mmap.log', 'w', encoding='utf-8') as f:
    f.writelines(errors)

Результат: файл errors_mmap.log содержит строки логов с кодами 5xx. Время выполнения для файла размером 2 ГБ сокращается по сравнению с построчным чтением благодаря прямому доступу к памяти.

Важно: mmap.mmap() требует режим открытия файла 'r+b' (чтение+запись в бинарном режиме). Для чистого чтения можно использовать os.open().

Пример 2: Работа с CSV и DictWriter

Когда данные структурированы (например, таблица логов), удобно применять модуль csv.

import csv

with open('data.csv', 'r', newline='', encoding='utf-8') as infile:
    reader = csv.DictReader(infile)
    rows = [row for row in reader if int(row['status']) >= 500]

with open('errors.csv', 'w', newline='', encoding='utf-8') as outfile:
    fieldnames = reader.fieldnames
    writer = csv.DictWriter(outfile, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerows(rows)

Результат: файл errors.csv содержит только строки со статусом >=500, сохранённые в том же CSV-формате с заголовками.

Пример 3: Временный файл с помощью tempfile

Для промежуточных результатов или тестирования удобно создавать временные файлы, которые автоматически удаляются.

import tempfile
import os

with tempfile.NamedTemporaryFile(mode='w+', suffix='.log', delete=True) as tmp:
    tmp.write('temp data\n')
    tmp.flush()
    # Используем путь к временному файлу
    print('Temp file path:', tmp.name)
    # Файл будет удалён при выходе из контекста

Вывод: Temp file path: /tmp/tmpabc123.log
После завершения блока файл удаляется.

Пример 4: Копирование бинарного файла с shutil.copyfileobj

Для копирования больших бинарных данных (изображения, архивы) эффективно использовать буферизированное копирование.

import shutil

with open('image.jpg', 'rb') as src, open('copy.jpg', 'wb') as dst:
    shutil.copyfileobj(src, dst, length=1024*1024)  # 1 МБ буфер

Результат: создаётся точная копия файла image.jpg под именем copy.jpg.

Пример 5: Эмуляция файла с помощью io.StringIO

Для модульного тестирования или работы со строками как с файлами применяется StringIO из модуля io.

from io import StringIO

buffer = StringIO()
buffer.write('line1\nline2\n')
buffer.seek(0)
for line in buffer:
    print(line.strip())

Вывод:
line1
line2

Применение: удобно для передачи строкового содержимого в функции, ожидающие файловый объект.