Основы работы с файлами в языке Python

Расширенные примеры работы с файлами данных

Чтение и запись файлов с помощью Pathlib

Модуль pathlib предоставляет объектно-ориентированный интерфейс для путей. Методы read_text() и write_text() упрощают работу с небольшими файлами.

from pathlib import Path

file_path = Path('data.txt')
text = file_path.read_text(encoding='utf-8')
print(text)
file_path.write_text('Новый текст', encoding='utf-8')

Старое содержимое

Преимущества: нет необходимости явно открывать и закрывать файл, меньше кода. Недостаток: не подходит для очень больших файлов, так как загружает данные целиком в память.

Обработка файлов больших размеров с помощью mmap

Модуль mmap позволяет отобразить файл в виртуальную память, что ускоряет доступ к произвольным участкам без полной загрузки.

import mmap
with open('large_file.bin', 'r+b') as f:
    # Отображаем весь файл
    with mmap.mmap(f.fileno(), 0) as mm:
        # Поиск первой позиции байта 0xFF
        pos = mm.find(b'\xFF')
        if pos != -1:
            print(f'Найдено на позиции {pos}')

Найдено на позиции 1024

Примечание: подходит только для файлов, которые могут быть отображены в адресное пространство процесса (обычно до нескольких гигабайт). Необходимо использовать осторожно, чтобы не превысить лимиты памяти.

Сохранение Python-объектов с помощью pickle

Модуль pickle сериализует произвольные объекты Python в бинарный формат. Удобно для сохранения состояния программы.

import pickle

data = {'dict': [1, 2, 3], 'tuple': (4, 5, 6), 'set': {7, 8}}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f)

with open('data.pkl', 'rb') as f:
    restored = pickle.load(f)
print(restored)

{'dict': [1, 2, 3], 'tuple': (4, 5, 6), 'set': {8, 7}}

Предостережение: не следует загружать данные pickle из ненадёжных источников - это может привести к выполнению произвольного кода.

Работа с несколькими файлами одновременно через контекстные менеджеры

Можно открыть несколько файлов в одном выражении with, используя скобки или запятые (Python 3.10+).

with (
    open('source.txt', 'r', encoding='utf-8') as src,
    open('dest.txt', 'w', encoding='utf-8') as dst
):
    for line in src:
        dst.write(line.upper())

В более ранних версиях используется вложенный with или contextlib.ExitStack.

Чтение файла с автоматическим определением кодировки

Модуль chardet помогает определить кодировку, когда она неизвестна.

import chardet

with open('unknown_encoding.txt', 'rb') as f:
    raw = f.read(10000)  # читаем начало файла
    result = chardet.detect(raw)
    encoding = result['encoding']
    print(f'Определена кодировка: {encoding}')

# После этого можно перечитать файл с нужной кодировкой
with open('unknown_encoding.txt', 'r', encoding=encoding, errors='replace') as f:
    content = f.read()
    print(content[:200])

Определена кодировка: utf-8
Текст файла...

Важно: chardet не всегда точен для коротких файлов; рекомендуется использовать errors='replace' для замены нечитаемых символов.

Запись данных в формате YAML

YAML - человекочитаемый формат, похожий на JSON, но с поддержкой комментариев и более гибким синтаксисом. Для работы требуется сторонняя библиотека PyYAML.

import yaml

data = {
    'server': {
        'host': 'localhost',
        'port': 8080
    },
    'env': 'development'
}

with open('config.yaml', 'w', encoding='utf-8') as f:
    yaml.dump(data, f, default_flow_style=False, allow_unicode=True)

with open('config.yaml', 'r', encoding='utf-8') as f:
    loaded = yaml.safe_load(f)
    print(loaded['server']['port'])

8080

Замечание: yaml.safe_load() предотвращает выполнение произвольного кода при загрузке.