JSON и Python: практическая работа с данными в Pandas

Расширенный пример 1: Чтение сложного вложенного JSON с разделением на несколько DataFrame

import json
import pandas as pd

# Исходный JSON с двумя уровнями вложенности
complex_json = '''{
  "store": {
    "name": "Магазин у дома",
    "products": [
      {"id": 1, "title": "Молоко", "price": 80},
      {"id": 2, "title": "Хлеб", "price": 30}
    ],
    "employees": [
      {"name": "Петр", "position": "продавец"},
      {"name": "Елена", "position": "кассир"}
    ]
  }
}'''
data = json.loads(complex_json)

# Нормализация разных уровней
store_info = pd.json_normalize(data, record_path=['store', 'products'],
                               meta=[['store', 'name']])
employees = pd.json_normalize(data, record_path=['store', 'employees'])

print('Товары:')
print(store_info)
print('\nСотрудники:')
print(employees)

Товары:
   id title  price           store.name
0   1  Молоко     80  Магазин у дома
1   2   Хлеб     30  Магазин у дома

Сотрудники:
    name position
0   Петр  продавец
1  Елена   кассир

Расширенный пример 2: Запись и чтение DataFrame с ориентацией 'split' (включает схему)

import pandas as pd

df = pd.DataFrame({
    'city': ['Москва', 'СПб'],
    'population': [12655000, 5384000]
})

# Запись с полной метаинформацией
df.to_json('city_split.json', orient='split')

# Чтение с той же ориентацией
df_restored = pd.read_json('city_split.json', orient='split')
print(df_restored)

      city  population
0  Москва    12655000
1     СПб     5384000

Ориентация 'split' сохраняет столбцы, данные и индекс отдельными ключами. Это удобно для точного восстановления структуры, но файл становится менее читаемым.

Расширенный пример 3: Потоковая запись и чтение JSON Lines (NDJSON) для больших данных

import pandas as pd
import numpy as np

# Создаём большой DataFrame (100 тысяч строк)
n = 100000
df_large = pd.DataFrame({
    'id': np.arange(n),
    'value': np.random.randn(n)
})

# Сохраняем в JSON Lines (каждая строка отдельный объект)
df_large.to_json('large.json', orient='records', lines=True)

# Читаем порциями по 20000 строк
chunks = []
for chunk in pd.read_json('large.json', lines=True, chunksize=20000):
    # выполняем агрегацию на чанке
    mean_val = chunk['value'].mean()
    chunks.append(mean_val)

print('Средние значения по порциям:')
print(chunks)

Средние значения по порциям:
[0.002331, -0.001567, 0.000112, -0.001943, 0.000871]

При использовании chunksize возвращается итератор. Это позволяет обрабатывать файлы любого размера без загрузки целиком.

Расширенный пример 4: Кастомная сериализация типов (например, Period)

import pandas as pd
import json

# Создаём DataFrame с Period индексом
idx = pd.period_range('2020-Q1', periods=3, freq='Q')
df = pd.DataFrame({'sales': [100, 150, 200]}, index=idx)

# Стандартный JSON не может сериализовать Period -> будет ошибка
# Используем ориентацию 'table' и параметр date_format
df.to_json('period_test.json', orient='table', date_format='iso')

# При чтении Period не восстанавливается автоматически
# Поэтому читаем как простой индекс и конвертируем вручную
df_loaded = pd.read_json('period_test.json', orient='table')
print('Тип индекса после чтения:', df_loaded.index.dtype)

Тип индекса после чтения: object

Для полного восстановления Period индекса необходимо использовать собственный конвертер или библиотеку pandas.io.json с пользовательским кодировщиком.

Расширенный пример 5: Использование параметра dtype при чтении JSON для контроля типов

import pandas as pd
import numpy as np

# Создаём файл, где возраст записан как целое число
json_str = '[{"name":"Анна","age":"25"},{"name":"Иван","age":"30"}]'
with open('example.json', 'w', encoding='utf-8') as f:
    f.write(json_str)

# По умолчанию age будет строкой
df_default = pd.read_json('example.json')
print('Типы по умолчанию:')
print(df_default.dtypes)

# Явно указываем dtype
df_typed = pd.read_json('example.json', dtype={'age': np.int32})
print('\nТипы с указанием:')
print(df_typed.dtypes)

Типы по умолчанию:
name    object
age     object
dtype: object

Типы с указанием:
name     object
age      int32
dtype: object

Примечание: Параметр dtype в read_json работает только если все значения поля могут быть приведены к указанному типу. В противном случае возникнет ошибка. Для смешанных данных лучше использовать convert_dtypes после чтения.