Сохранение данных в файлы средствами Python

Расширенные примеры записи данных

Запись с явным контролем буферизации

При записи большого объёма данных можно управлять размером буфера. Параметр buffering в open():

with open('large_file.txt', 'w', buffering=8192) as f:
    for i in range(100000):
        f.write(f'Строка номер {i}\n')

По умолчанию для текстовых файлов используется строчная буферизация (размер зависит от системы). Установка явного значения может улучшить производительность.

Запись в файл с отложенной обработкой (lazy writing)

Использование генератора для формирования данных на лету, экономя память:

def generate_lines():
    for i in range(10):
        yield f'Line {i}'

with open('lazy.txt', 'w') as f:
    f.writelines(line + '\n' for line in generate_lines())

Результат - файл с десятью строками.

Запись с использованием модуля tempfile для временных файлов

import tempfile

with tempfile.NamedTemporaryFile(mode='w', suffix='.txt', delete=False) as tmp:
    tmp.write('Временные данные')
    print(f'Временный файл создан: {tmp.name}')
# Файл не удалён, так как delete=False

Полезно для тестов или обработки промежуточных результатов.

Параллельная запись в несколько файлов с помощью ThreadPoolExecutor

from concurrent.futures import ThreadPoolExecutor
import os

def write_file(filename, content):
    with open(filename, 'w') as f:
        f.write(content)

names = ['file1.txt', 'file2.txt', 'file3.txt']
contents = ['Первое содержимое', 'Второе', 'Третье']

with ThreadPoolExecutor(max_workers=3) as executor:
    executor.map(write_file, names, contents)

# Проверка
for name in names:
    with open(name) as f:
        print(f.read())

Результат: три файла с соответствующим текстом. Ускоряет запись при большом количестве файлов.

Запись сжатых данных (gzip)

import gzip

data = 'Длинная строка, которую нужно сжать. ' * 1000
with gzip.open('compressed.txt.gz', 'wt', encoding='utf-8') as f:
    f.write(data)

# Проверка:
with gzip.open('compressed.txt.gz', 'rt', encoding='utf-8') as f:
    restored = f.read()
print('Длина восстановленной строки:', len(restored))

Результат: файл на диске занимает меньше места. Подходит для логов, больших текстов.

Запись с обработкой исключений и повторными попытками

import time

max_attempts = 3
for attempt in range(1, max_attempts + 1):
    try:
        with open('/mnt/network/file.txt', 'w') as f:
            f.write('Важные данные')
        print('Запись успешна')
        break
    except (IOError, OSError) as e:
        print(f'Попытка {attempt} не удалась: {e}')
        time.sleep(2)
else:
    print('Не удалось записать после нескольких попыток')

Устойчивость к временным сетевым сбоям.

Использование io.StringIO для записи в виртуальный файл

from io import StringIO

buffer = StringIO()
buffer.write('Строка 1\n')
buffer.write('Строка 2\n')
content = buffer.getvalue()
print(content)
buffer.close()

Результат выводится на экран, данные никуда не записываются. Удобно для тестирования или формирования строки без создания реального файла.