Техники анализа данных с помощью библиотек Pandas и NumPy

Расширенные примеры анализа данных с Pandas и NumPy

Пример 1: Множественная агрегация с пользовательскими функциями

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Группа': ['X', 'X', 'Y', 'Y', 'Z'],
    'Значение1': [10, 20, 30, 40, 50],
    'Значение2': [1, 2, 3, 4, 5]
})

def range_val(x):
    return x.max() - x.min()

result = df.groupby('Группа').agg({
    'Значение1': ['sum', 'mean', range_val],
    'Значение2': ['min', 'max']
})
print(result)

    Значение1                     Значение2    
          sum       mean range_val   min max
Группа                                      
X          30  15.000000        10     1   2
Y          70  35.000000        10     3   4
Z          50  50.000000         0     5   5

Здесь для 'Значение1' применяются три функции, включая пользовательскую range_val. Результат - мультиуровневый столбец.

Пример 2: Использование rolling и expanding для скользящих статистик

series = pd.Series(np.random.randn(10), name='X')
rolling_mean = series.rolling(window=3).mean()
expanding_sum = series.expanding(min_periods=2).sum()
df_roll = pd.DataFrame({'Исходные': series, 'Скользящее_среднее': rolling_mean, 'Нарастающая_сумма': expanding_sum})
print(df_roll)

   Исходные  Скользящее_среднее  Нарастающая_сумма
0  0.124204                NaN                NaN
1 -0.457528                NaN          -0.333324
2  0.355136          0.007271           0.021812
3  1.695840          0.531149           1.717652
4 -0.650984          0.466664           1.066668
5 -0.399089          0.215256           0.667579
6  0.071440         -0.326211           0.739019
7 -1.259861         -0.529170          -0.520842
8  2.125846          0.312475           1.605004
9 -0.156354          0.236544           1.448650

Параметр window задаёт размер окна, min_periods - минимальное количество наблюдений для расчёта. Rolling полезен для сглаживания временных рядов.

Пример 3: Векторизованные вычисления с NumPy

import numpy as np
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
# Стандартизация (Z-оценки) по столбцам
mean = np.mean(arr, axis=0)
std = np.std(arr, axis=0, ddof=1)
z_scores = (arr - mean) / std
print(z_scores)

[[-1.22474487 -1.22474487 -1.22474487]
 [ 0.          0.          0.        ]
 [ 1.22474487  1.22474487  1.22474487]]

NumPy автоматически выполняет операции над массивами без циклов, что существенно ускоряет вычисления.

Пример 4: Создание разреженных матриц из категориальных данных

from sklearn.preprocessing import OneHotEncoder
import pandas as pd

df_cat = pd.DataFrame({'Цвет': ['Красный', 'Синий', 'Зелёный', 'Синий', 'Красный']})
encoder = OneHotEncoder(sparse_output=False)
encoded = encoder.fit_transform(df_cat[['Цвет']])
df_encoded = pd.DataFrame(encoded, columns=encoder.get_feature_names_out(['Цвет']))
print(df_encoded)

   Цвет_Зелёный  Цвет_Красный  Цвет_Синий
0           0.0           1.0         0.0
1           0.0           0.0         1.0
2           1.0           0.0         0.0
3           0.0           0.0         1.0
4           0.0           1.0         0.0

OneHotEncoder из scikit-learn преобразует категории в бинарные признаки, которые можно объединить с исходным DataFrame.

Пример 5: Объединение таблиц с помощью merge и concat

df1 = pd.DataFrame({'ID': [1, 2, 3], 'Имя': ['Анна', 'Борис', 'Виктор']})
df2 = pd.DataFrame({'ID': [1, 2, 4], 'Зарплата': [50000, 60000, 45000]})

inner_join = pd.merge(df1, df2, on='ID', how='inner')
left_join = pd.merge(df1, df2, on='ID', how='left')
concat_rows = pd.concat([df1, df2], axis=0, ignore_index=True)

print('Inner Join:')
print(inner_join)
print('\nLeft Join:')
print(left_join)
print('\nConcat rows:')
print(concat_rows)

Inner Join:
   ID    Имя  Зарплата
0   1   Анна     50000
1   2  Борис     60000

Left Join:
   ID    Имя  Зарплата
0   1   Анна   50000.0
1   2  Борис   60000.0
2   3  Виктор       NaN

Concat rows:
   ID    Имя  Зарплата
0   1   Анна       NaN
1   2  Борис       NaN
2   3  Виктор       NaN
3   1    NaN   50000.0
4   2    NaN   60000.0
5   4    NaN   45000.0

merge работает аналогично SQL-соединениям, concat просто склеивает по оси (строки или столбцы).