Python: устойчивые способы записи данных в файлы и их чтение

Расширенные примеры хранения данных

import json, os, datetime
from pathlib import Path

# Пример: сохранение нескольких записей с метками времени
data = [
    {'id': 1, 'name': 'Alice', 'timestamp': datetime.datetime.now().isoformat()},
    {'id': 2, 'name': 'Bob', 'timestamp': '2024-01-15T10:30:00'}
]

def save_json(filename, data, mode='w'):
    try:
        # Преобразование всех datetime в строки
        serializable = []
        for item in data:
            item_copy = item.copy()
            for k, v in item_copy.items():
                if isinstance(v, datetime.datetime):
                    item_copy[k] = v.isoformat()
            serializable.append(item_copy)
        
        with open(filename, mode, encoding='utf-8') as f:
            json.dump(serializable, f, ensure_ascii=False, indent=2)
        return True
    except (IOError, TypeError) as e:
        print(f'Ошибка записи: {e}')
        return False

def load_json(filename):
    if not Path(filename).exists():
        return []
    try:
        with open(filename, 'r', encoding='utf-8') as f:
            return json.load(f)
    except json.JSONDecodeError as e:
        print(f'Ошибка разбора JSON: {e}')
        return []

# Сохраняем
if save_json('records.json', data):
    print('Данные сохранены')

# Добавляем новую запись
existing = load_json('records.json')
existing.append({'id': 3, 'name': 'Charlie', 'timestamp': '2024-02-20T12:00:00'})
save_json('records.json', existing)  # перезапись

# Читаем и выводим первое значение
records = load_json('records.json')
print(records[0]['name'])

Данные сохранены
Alice

# Пример: работа с большим файлом – чтение построчно без загрузки всего файла
# Потенциально для JSON Lines (.jsonl) – каждая строка – отдельный JSON

def append_json_line(filename, obj):
    with open(filename, 'a', encoding='utf-8') as f:
        json.dump(obj, f, ensure_ascii=False)
        f.write('\n')

def read_json_lines(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        for line in f:
            if line.strip():
                yield json.loads(line)

# Запишем три строки
append_json_line('big_data.jsonl', {'a': 1})
append_json_line('big_data.jsonl', {'b': 2})
append_json_line('big_data.jsonl', {'c': 3})

# Прочитаем построчно
for record in read_json_lines('big_data.jsonl'):
    print(record)

{'a': 1}
{'b': 2}
{'c': 3}

# Пример: сериализация сложных структур с помощью custom encoder (JSON)
from json import JSONEncoder

class Person:
    def __init__(self, name, birth):
        self.name = name
        self.birth = birth  # datetime.date
    def to_json(self):
        return {'__person__': True, 'name': self.name, 'birth': self.birth.isoformat()}

class PersonEncoder(JSONEncoder):
    def default(self, obj):
        if isinstance(obj, Person):
            return obj.to_json()
        return super().default(obj)

p = Person('Alice', datetime.date(1995, 5, 10))
json_str = json.dumps(p, cls=PersonEncoder, indent=2)
print(json_str)

# Загрузка с проверкой
def decode_person(dct):
    if '__person__' in dct:
        return Person(dct['name'], datetime.date.fromisoformat(dct['birth']))
    return dct

loaded = json.loads(json_str, object_hook=decode_person)
print(loaded.name, loaded.birth)

{
  "__person__": true,
  "name": "Alice",
  "birth": "1995-05-10"
}
Alice 1995-05-10

# Пример: использование pickle для передачи состояния между запусками (с проверкой версии)
import pickle, sys

class GameState:
    def __init__(self, level, lives):
        self.__version__ = 2  # версия для совместимости
        self.level = level
        self.lives = lives
    
    def upgrade(self):
        # при необходимости обновление старых объектов
        pass

state = GameState(5, 3)
with open('savegame.pkl', 'wb') as f:
    pickle.dump(state, f)

# Загрузка с проверкой версии
with open('savegame.pkl', 'rb') as f:
    loaded = pickle.load(f)
if loaded.__version__ != 2:
    loaded.upgrade()
print(loaded.level, loaded.lives)

5 3

# Пример: сохранение многомерного массива с помощью numpy (если разрешён сторонний модуль)
import numpy as np

arr = np.random.rand(3, 4)
np.savetxt('matrix.csv', arr, delimiter=',', fmt='%.6f')
loaded_arr = np.loadtxt('matrix.csv', delimiter=',')
print(loaded_arr.shape)

(3, 4)

В этом разделе приведены нестандартные приёмы: кастомный кодировщик для JSON, работа с JSON Lines для потоковой обработки, проверка версий в pickle, интеграция с numpy. Каждый из них решает специфическую задачу, которая возникает в реальных проектах.