Pandas и NumPy: библиотеки для анализа данных на Python

Расширенные примеры использования NumPy и Pandas

Продвинутые техники

Broadcasting в NumPy

Broadcasting позволяет выполнять операции между массивами разной формы без явного повторения данных.

import numpy as np
A = np.array([[1, 2, 3], [4, 5, 6]])
B = np.array([10, 20, 30])
result = A + B
print(result)

[[11 22 33]
 [14 25 36]]

Массив B (3,) расширяется до (2,3) за счёт повторения по оси строк. Правила broadcasting применяются автоматически, но важно, чтобы размерности были совместимы (хотя бы одна из них равна 1 или отсутствует).

Условная замена с np.where

Функция np.where возвращает элементы из двух массивов в зависимости от условия.

arr = np.array([1, -2, 3, -4, 5])
result = np.where(arr > 0, 'positive', 'negative')
print(result)

['positive' 'negative' 'positive' 'negative' 'positive']

Также np.where может возвращать индексы ненулевых элементов: np.where(arr!=0).

Группировка и агрегация в Pandas

Метод groupby позволяет разбить данные на группы и применить несколько агрегатных функций одновременно.

import pandas as pd
df = pd.DataFrame({
    'category': ['A', 'B', 'A', 'B', 'A'],
    'value': [10, 20, 30, 40, 50]
})
grouped = df.groupby('category')['value'].agg(['sum', 'mean', 'count'])
print(grouped)

          sum  mean  count
category                  
A          90  30.0      3
B          60  30.0      2

Можно также применять разные функции к разным столбцам с помощью словаря.

Сводные таблицы (pivot_table)

Pivot table создает многомерную сводку, аналогичную Excel.

sales = pd.DataFrame({
    'region': ['North', 'South', 'North', 'South'],
    'year': [2020, 2020, 2021, 2021],
    'sales': [100, 200, 150, 250]
})
pivot = pd.pivot_table(sales, values='sales', index='region', columns='year', aggfunc='sum')
print(pivot)

year    2020  2021
region            
North    100   150
South    200   250

Работа с временными рядами

Pandas предоставляет мощные инструменты для парсинга дат и ресемплинга.

dates = pd.date_range('2023-01-01', periods=6, freq='D')
ts = pd.Series([1,2,3,4,5,6], index=dates)
print('Исходный ряд:')
print(ts)
print('\nСреднее по месяцам:')
print(ts.resample('M').mean())

Исходный ряд:
2023-01-01    1
2023-01-02    2
2023-01-03    3
2023-01-04    4
2023-01-05    5
2023-01-06    6
Freq: D, dtype: int64

Среднее по месяцам:
2023-01-31    3.5
Freq: ME, dtype: float64

Ресемплинг поддерживает различные периоды: 'H' (часы), 'W' (недели), 'Q' (кварталы) и т.д.

Многомерные массивы и работа с осями

NumPy поддерживает массивы произвольной размерности. Операции вдоль осей задаются параметром axis.

tensor = np.arange(24).reshape((2, 3, 4))
print('Тензор shape:', tensor.shape)
print('Сумма по оси 1:\n', tensor.sum(axis=1))

Тензор shape: (2, 3, 4)
Сумма по оси 1:
 [[12 15 18 21]
 [48 51 54 57]]

Понимание оси важно при сжатии или расширении размерностей (например, np.expand_dims).