Основные методы сохранения информации в языке Python

Расширенные примеры демонстрируют нестандартные или более производительные способы сохранения данных.

Пример 1: Построчная запись большого файла с буферизацией

Для больших объёмов данных полезно настроить размер буфера. Можно использовать аргумент buffering в open.

import os
lines = [f'line {i}\n' for i in range(100_000)]
with open('large.txt', 'w', buffering=64*1024) as f:
    f.writelines(lines)
print(f'Размер файла: {os.path.getsize("large.txt")} байт')

Размер файла: 788895 байт

Пример 2: Использование временного файла

Модуль tempfile создаёт временные файлы, которые удаляются после закрытия. Полезно для промежуточного хранения.

import tempfile
with tempfile.NamedTemporaryFile(mode='w', delete=False, suffix='.txt') as tmp:
    tmp.write('временные данные')
    tmp_path = tmp.name
print(f'Временный файл: {tmp_path}')
import os
os.unlink(tmp_path)

Временный файл: /tmp/tmpabc123.txt

Пример 3: Сохранение конфигурации в YAML

Библиотека yaml (устанавливается отдельно) позволяет записывать данные в удобном формате.

import yaml
config = {
    'database': {
        'host': 'localhost',
        'port': 5432
    },
    'logging': {
        'level': 'INFO'
    }
}
with open('config.yaml', 'w') as f:
    yaml.dump(config, f, default_flow_style=False)

# config.yaml:
database:
  host: localhost
  port: 5432
logging:
  level: INFO

Пример 4: Использование shelve для хранения объектов

Модуль shelve предоставляет постоянное хранилище для объектов, работающее как словарь.

import shelve
with shelve.open('mydata.db') as db:
    db['user'] = {'name': 'Иван', 'password': 'secret'}
    db['score'] = 100
with shelve.open('mydata.db') as db:
    print(db['user'], db['score'])

{'name': 'Иван', 'password': 'secret'} 100

Пример 5: Запись с сжатием gzip

Модуль gzip позволяет сразу записывать сжатые данные, экономя место.

import gzip
import json
data = {'list': list(range(1000))}
with gzip.open('data.json.gz', 'wt', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False)
import os
print(f'Сжатый файл: {os.path.getsize("data.json.gz")} байт')

Сжатый файл: 233 байт (примерно)

Пример 6: Запись бинарного массива чисел с помощью struct

Для компактного хранения чисел фиксированного размера используется модуль struct.

import struct
numbers = [1.5, 2.7, 3.14]
data = struct.pack(f'!{len(numbers)}d', *numbers)
with open('binary.bin', 'wb') as f:
    f.write(data)
with open('binary.bin', 'rb') as f:
    raw = f.read()
restored = struct.unpack(f'!{len(numbers)}d', raw)
print(restored)

(1.5, 2.7, 3.14)