Инструменты Pandas для работы с JSON

Расширенные примеры работы с JSON в Pandas

Чтение очень больших JSON файлов с построчной обработкой

Когда JSON содержит огромное количество записей, загрузка всего файла может привести к нехватке памяти. Можно читать файл построчно, если он представляет собой NDJSON (Newline Delimited JSON) - каждая строка - отдельный JSON объект.

import pandas as pd
import json

chunks = []
with open('large_ndjson.json', 'r') as f:
    for line in f:
        if line.strip():
            obj = json.loads(line)
            chunks.append(obj)
df = pd.DataFrame(chunks)
print(df.shape)

Для ещё большей экономии памяти применяется библиотека ijson, которая парсит поток без полной загрузки.

import ijson
import pandas as pd

records = []
with open('huge.json', 'r') as f:
    parser = ijson.parse(f)
    for prefix, event, value in parser:
        if (prefix, event) == ('item', 'map_key'):
            # настройка извлечения
            pass
# ... сборка DataFrame

Преобразование вложенных JSON с несколькими уровнями

Рассмотрим структуру с вложенными массивами объектов и метаданными на разных уровнях.

data = [
    {
        "order": 1,
        "items": [
            {"product": "phone", "qty": 1},
            {"product": "case", "qty": 2}
        ],
        "customer": {"name": "John", "loyalty": "gold"}
    },
    {
        "order": 2,
        "items": [
            {"product": "laptop", "qty": 1}
        ],
        "customer": {"name": "Jane", "loyalty": "silver"}
    }
]

df_items = json_normalize(
    data,
    record_path='items',
    meta=['order', ['customer', 'name'], ['customer', 'loyalty']]
)
print(df_items)

   product  qty  order customer.name customer.loyalty
0    phone    1      1          John             gold
1     case    2      1          John             gold
2   laptop    1      2          Jane           silver

Кастомная сериализация объектов datetime

При сохранении DataFrame с датами в JSON можно задать формат с помощью параметра date_format. Если требуется нестандартное представление, используется default_handler.

import datetime

df = pd.DataFrame({'date': [datetime.date(2024,1,1), datetime.date(2024,6,15)]})
json_str = df.to_json(orient='records', date_format='iso', default_handler=str)
print(json_str)

[{"date":"2024-01-01"},{"date":"2024-06-15"}]

Обработка JSON с пропущенными ключами и разными типами

Иногда в JSON могут отсутствовать некоторые поля или типы различаются. Через pd.json_normalize() пропуски заполняются NaN, а разные типы можно привести явно после загрузки.

json_mixed = '[{"a": 1, "b": "text"}, {"a": 2}, {"b": 3}]'
df_mixed = pd.read_json(json_mixed)
print(df_mixed.dtypes)
# a - float64, b - object
# Приведение типов
df_mixed['a'] = df_mixed['a'].astype('Int64')
df_mixed['b'] = pd.to_numeric(df_mixed['b'], errors='coerce')
print(df_mixed)

      a    b
0     1  text
1     2  NaN
2   NaN    3

Экспорт с сохранением иерархии (вложенные JSON)

Используя группировку и to_dict(), можно создать вложенный JSON из плоского DataFrame.

df = pd.DataFrame({
    'city': ['Moscow', 'Moscow', 'SPb'],
    'product': ['A', 'B', 'A'],
    'sales': [100, 200, 150]
})
result = df.groupby('city').apply(lambda x: x[['product','sales']].to_dict('records')).to_dict()
import json
print(json.dumps(result, ensure_ascii=False, indent=2))

{
  "Moscow": [
    {"product": "A", "sales": 100},
    {"product": "B", "sales": 200}
  ],
  "SPb": [
    {"product": "A", "sales": 150}
  ]
}