Обработка информации в Pandas: от загрузки до продвинутого анализа

Расширенные примеры обработки данных

В этом разделе представлены более сложные сценарии, часто встречающиеся на практике: работа с временными рядами, многомерная агрегация, объединение таблиц и скользящие вычисления. Каждый пример содержит код и ожидаемый вывод.

1. Обработка временных рядов

Преобразование строковой колонки с датами в тип datetime, создание признаков и фильтрация по периоду.

import pandas as pd

# Данные с датами
sales = pd.DataFrame({
    'date': ['2024-01-05', '2024-02-10', '2024-03-15', '2024-01-20'],
    'amount': [200, 150, 300, 250]
})
sales['date'] = pd.to_datetime(sales['date'])
sales['year'] = sales['date'].dt.year
sales['month'] = sales['date'].dt.month
sales['day_of_week'] = sales['date'].dt.day_name()
# Фильтр: только февраль
feb_sales = sales[sales['date'].dt.month == 2]
print(feb_sales)

        date  amount  year  month day_of_week
1 2024-02-10     150  2024      2    Saturday

2. Группировка с несколькими агрегациями и пользовательской функцией

Группировка по продукту, вычисление суммы, среднего, а также размаха (max - min) с помощью .agg().

# используем df из предыдущего примера
grouped = df.groupby('product').agg(
    total_quantity=('quantity', 'sum'),
    avg_price=('price', 'mean'),
    price_range=('price', lambda x: x.max() - x.min())
).reset_index()
print(grouped)

  product  total_quantity  avg_price  price_range
0       A               3      110.0         20.0
1       B               9      107.5          5.0
2       C               3      150.0          0.0

3. Объединение таблиц (merge) с разными типами соединений

Рассмотрим две таблицы: заказы и информация о покупателях. Выполним inner, left и outer merge, обрабатывая дубликаты.

orders = pd.DataFrame({
    'order_id': [1,2,3,4],
    'customer_id': [101,102,101,103],
    'amount': [250, 180, 300, 220]
})
customers = pd.DataFrame({
    'customer_id': [101,102,104],
    'name': ['Alice', 'Bob', 'Charlie']
})

# inner merge
inner = pd.merge(orders, customers, on='customer_id', how='inner')
print('Inner merge:')
print(inner)

# left merge с сохранением всех заказов
left = pd.merge(orders, customers, on='customer_id', how='left')
print('\nLeft merge:')
print(left)

Inner merge:
   order_id  customer_id  amount   name
0         1          101     250  Alice
1         3          101     300  Alice
2         2          102     180    Bob

Left merge:
   order_id  customer_id  amount   name
0         1          101     250  Alice
1         2          102     180    Bob
2         3          101     300  Alice
3         4          103     220    NaN

4. Сводные таблицы с pivot_table

Создание многомерной агрегации с возможностью заполнения пропусков.

# данные о продажах по регионам и продуктам
df_sales = pd.DataFrame({
    'region': ['North', 'South', 'North', 'West', 'South', 'West'],
    'product': ['A', 'A', 'B', 'A', 'B', 'B'],
    'sales': [100, 200, 150, 300, 250, 180]
})
pivot = df_sales.pivot_table(
    index='region',
    columns='product',
    values='sales',
    aggfunc='sum',
    fill_value=0
).reset_index()
print(pivot)

product region    A    B
0        North  100  150
1        South  200  250
2         West  300  180

5. Скользящие вычисления (rolling и expanding)

Расчет скользящего среднего и кумулятивной суммы для временных рядов.

time_series = pd.DataFrame({
    'day': pd.date_range('2024-01-01', periods=7),
    'value': [10, 20, 15, 25, 30, 35, 40]
}).set_index('day')

time_series['rolling_mean_3'] = time_series['value'].rolling(window=3).mean()
time_series['cumulative_sum'] = time_series['value'].expanding().sum()
print(time_series)

            value  rolling_mean_3  cumulative_sum
day                                               
2024-01-01     10             NaN              10
2024-01-02     20             NaN              30
2024-01-03     15       15.000000              45
2024-01-04     25       20.000000              70
2024-01-05     30       23.333333             100
2024-01-06     35       30.000000             135
2024-01-07     40       35.000000             175

Обратите внимание: первые строки скользящего среднего содержат NaN, если окно не заполнено.