Pandas: библиотека анализа данных в Python

Продвинутые приёмы работы с Pandas

В этом разделе приведены менее распространённые, но полезные техники, расширяющие возможности анализа данных.

Мультииндекс (MultiIndex)

Мультииндекс позволяет работать с иерархическими данными.

arrays = [['A', 'A', 'B', 'B'], [1, 2, 1, 2]]
index = pd.MultiIndex.from_arrays(arrays, names=['letter', 'number'])
df = pd.DataFrame({'value': [10, 20, 30, 40]}, index=index)
print(df)

              value
letter number       
A      1          10
       2          20
B      1          30
       2          40

Можно выбирать данные по частичному индексу:

print(df.loc['A'])

        value
number       
1          10
2          20

Применение функций через apply

Метод apply позволяет применить пользовательскую функцию к каждой строке или столбцу.

df = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6]})
def row_sum(row):
    return row['a'] + row['b']
df['sum'] = df.apply(row_sum, axis=1)
print(df)

   a  b  sum
0  1  4    5
1  2  5    7
2  3  6    9

Для простых операций лучше использовать векторизованные выражения, но apply даёт гибкость.

Оптимизация памяти с категориальным типом

Если столбец содержит повторяющиеся строки, преобразование в category экономит память.

df = pd.DataFrame({'city': ['Moscow', 'SPb', 'Moscow', 'Kazan']})
df['city'] = df['city'].astype('category')
print(df.dtypes)
print(df.memory_usage(deep=True))

city    category
dtype: object
Index        128
city         168

Для больших данных разница становится значительной.

Обработка больших файлов по частям

Использование chunksize при чтении позволяет обработать файл, не загружая его целиком в память.

chunks = pd.read_csv('large.csv', chunksize=10000)
result = []
for chunk in chunks:
    # фильтрация каждой части
    filtered = chunk[chunk['value'] > 0]
    result.append(filtered)
df_final = pd.concat(result)
print(df_final.shape)

Такой подход эффективен для файлов, размер которых превышает доступную RAM.

Переформатирование таблиц: pivot и melt

pivot превращает длинную таблицу в широкую, melt - наоборот.

df_long = pd.DataFrame({
    'year': [2020, 2020, 2021, 2021],
    'type': ['sales', 'profit', 'sales', 'profit'],
    'value': [100, 20, 150, 30]
})
df_wide = df_long.pivot(index='year', columns='type', values='value')
print(df_wide)
# обратно
df_melted = df_wide.melt(id_vars=['year'], var_name='type', value_name='value')
print(df_melted)

type    profit  sales
year                
2020       20    100
2021       30    150
   year    type  value
0  2020  profit     20
1  2021  profit     30
2  2020   sales    100
3  2021   sales    150

Скользящие окна (rolling) и расширяющиеся окна (expanding)

Позволяют вычислять статистики с учётом окна данных.

df = pd.DataFrame({'value': [1, 2, 3, 4, 5]})
df['rolling_mean'] = df['value'].rolling(window=3).mean()
df['expanding_sum'] = df['value'].expanding().sum()
print(df)

   value  rolling_mean  expanding_sum
0      1           NaN              1
1      2           NaN              3
2      3           2.0              6
3      4           3.0             10
4      5           4.0             15

Полезно для анализа временных рядов и трендов.

Цепочки преобразований через pipe

pipe позволяет последовательно применять несколько функций к DataFrame, улучшая читаемость.

def add_column(df, name, val):
    df[name] = val
    return df

def filter_positive(df, column):
    return df[df[column] > 0]

df = (pd.DataFrame({'a': [-1, 2, -3, 4]})
      .pipe(add_column, 'b', 10)
      .pipe(filter_positive, 'a'))
print(df)

   a   b
1  2  10
3  4  10

Это альтернатива вложенным вызовам или изменению данных в несколько шагов с копиями.