Анализ данных в Python: возможности Pandas и NumPy

Расширенные примеры анализа данных с Pandas и NumPy

1. Работа с датами и временными рядами

Часто требуется преобразовать столбец с датами, выполнить выборку по временному диапазону или рассчитать скользящее среднее.

import pandas as pd
import numpy as np

# Создаём пример данных
dates = pd.date_range('2024-01-01', periods=10, freq='D')
sales = np.random.randint(100, 500, size=10)
df = pd.DataFrame({'date': dates, 'sales': sales})

# Установка индекса из дат
df.set_index('date', inplace=True)

# Выборка за определённый период
subset = df.loc['2024-01-03':'2024-01-07']
print(subset)

# Скользящее среднее за 3 дня
rolling_mean = df['sales'].rolling(window=3).mean()
print(rolling_mean)

2. Объединение данных (merge, join, concat)

При работе с несколькими источниками данных необходимо их объединять. Рассмотрим сценарий с таблицами пользователей и транзакций.

# Таблица пользователей
users = pd.DataFrame({
    'user_id': [1, 2, 3],
    'name': ['Alice', 'Bob', 'Charlie']
})

# Таблица транзакций
transactions = pd.DataFrame({
    'user_id': [1, 2, 2, 3, 1],
    'amount': [100, 200, 300, 400, 500],
    'product': ['A', 'B', 'A', 'C', 'B']
})

# Внутреннее объединение по user_id
merged_inner = pd.merge(users, transactions, on='user_id', how='inner')
print(merged_inner)

# Левое объединение (все пользователи, даже без транзакций)
merged_left = pd.merge(users, transactions, on='user_id', how='left')
print(merged_left)

Результат (предположительно):
   user_id     name  amount product
0        1    Alice     100       A
1        1    Alice     500       B
2        2      Bob     200       B
3        2      Bob     300       A
4        3  Charlie     400       C

3. Использование MultiIndex (многоуровневые индексы)

MultiIndex позволяет организовать данные с несколькими уровнями иерархии, например, по году и месяцу.

arrays = [['2023', '2023', '2024', '2024'], ['Jan', 'Feb', 'Jan', 'Feb']]
index = pd.MultiIndex.from_arrays(arrays, names=['year', 'month'])
df_multi = pd.DataFrame({'sales': [100, 200, 150, 250]}, index=index)
print(df_multi)

# Доступ к данным по срезу
subset = df_multi.loc[('2023', 'Jan'):('2024', 'Feb')]
print(subset)

# Агрегация по одному из уровней
by_year = df_multi.groupby(level='year').sum()
print(by_year)

Результат для by_year:
        sales
year        
2023     300
2024     400

4. Векторизированные вычисления NumPy (Broadcasting)

NumPy позволяет выполнять операции над массивами разных размеров без явных циклов - это называется broadcasting.

import numpy as np

# Сложение матрицы и вектора
matrix = np.array([[1, 2, 3],
                   [4, 5, 6]])
vector = np.array([10, 20, 30])
result = matrix + vector  # вектор прибавляется к каждой строке
print(result)

# Умножение матрицы на столбец (через reshape)
col_vector = np.array([[10], [20]])
result2 = matrix * col_vector
print(result2)

Результат:
[[11 22 33]
 [14 25 36]]

[[10 20 30]
 [80 100 120]]

5. Обработка отсутствующих данных с продвинутыми методами

Иногда требуется интерполяция или заполнение на основе предыдущих/следующих значений.

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan, 4, np.nan, 6])

# Интерполяция по времени (если индекс временной)
s_interp = s.interpolate(method='time')  # предполагается, что индекс - datetime
# Пример с линейной интерполяцией
s_linear = s.interpolate(method='linear')
print(s_linear)

# Заполнение по методу forward fill
s_ffill = s.ffill()
print(s_ffill)

Результат для s_linear:
0    1.000000
1    2.000000
2    3.000000
3    4.000000
4    5.000000
5    6.000000
dtype: float64