Эффективная работа с таблицами данных в Python

Расширенные примеры обработки таблиц

Ниже приведены продвинутые сценарии работы с табличными данными с использованием pandas.

Многомерная группировка и агрегация с agg()

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Группа': ['A', 'A', 'B', 'B', 'A'],
    'Тип': ['X', 'Y', 'X', 'Y', 'X'],
    'Значение1': [10, 20, 30, 40, 50],
    'Значение2': [1, 2, 3, 4, 5]
})
# Несколько агрегирующих функций для разных столбцов
agg_result = df.groupby(['Группа', 'Тип']).agg({
    'Значение1': ['sum', 'mean'],
    'Значение2': 'max'
})
print(agg_result)

              Значение1      Значение2
                   sum mean        max
Группа Тип
A      X            60  30.0          5
       Y            20  20.0          2
B      X            30  30.0          3
       Y            40  40.0          4

Создание сводной таблицы (pivot_table)

pivot = df.pivot_table(
    values='Значение1',
    index='Группа',
    columns='Тип',
    aggfunc='sum',
    fill_value=0
)
print(pivot)

Тип      X   Y
Группа
A       60  20
B       30  40

Применение пользовательской функции к строкам (apply с axis=1)

# Функция для расчета бонуса: если Значение1 > 30, то бонус 10% от Значение1
# Для каждой строки
df['Бонус'] = df.apply(lambda row: row['Значение1'] * 0.1 if row['Значение1'] > 30 else 0, axis=1)
print(df)

  Группа Тип  Значение1  Значение2  Бонус
0     A   X         10          1    0.0
1     A   Y         20          2    0.0
2     B   X         30          3    0.0
3     B   Y         40          4    4.0
4     A   X         50          5    5.0

Работа с датами: преобразование и выделение компонент

dates = pd.date_range('2023-01-01', periods=5, freq='D')
df_dates = pd.DataFrame({'Дата': dates, 'Продажи': [100, 200, 150, 300, 250]})
df_dates['Год'] = df_dates['Дата'].dt.year
df_dates['Месяц'] = df_dates['Дата'].dt.month
df_dates['День_недели'] = df_dates['Дата'].dt.day_name()
print(df_dates)

       Дата  Продажи  Год  Месяц День_недели
0 2023-01-01      100 2023      1    Sunday
1 2023-01-02      200 2023      1    Monday
2 2023-01-03      150 2023      1   Tuesday
3 2023-01-04      300 2023      1 Wednesday
4 2023-01-05      250 2023      1  Thursday

Объединение нескольких DataFrame (concat)

df1 = pd.DataFrame({'A': [1,2], 'B': [3,4]})
df2 = pd.DataFrame({'A': [5,6], 'B': [7,8]})
# Вертикальное объединение
concat_df = pd.concat([df1, df2], ignore_index=True)
print(concat_df)

   A  B
0  1  3
1  2  4
2  5  7
3  6  8

Чтение большого CSV файла по частям (chunksize)

# Предположим, есть файл 'large.csv'
# Чтение по 1000 строк
chunk_iter = pd.read_csv('large.csv', chunksize=1000)
total = 0
for chunk in chunk_iter:
    total += chunk['Столбец'].sum()
print('Сумма:', total)

Сумма: 1234567 (пример)

Использование query() для фильтрации

df = pd.DataFrame({'x': [1,2,3,4], 'y': [10,20,30,40]})
filtered = df.query('x > 2 and y < 35')
print(filtered)

   x   y
2  3  30

Работа с пропущенными значениями

df_nan = pd.DataFrame({'A': [1, None, 3], 'B': [None, 5, 6]})
print('Исходный:')
print(df_nan)
# Удалить строки с любым NaN
print('После dropna:')
print(df_nan.dropna())
# Заполнить NaN
print('После fillna:')
print(df_nan.fillna({'A': 0, 'B': -1}))

Исходный:
     A    B
0  1.0  NaN
1  NaN  5.0
2  3.0  6.0
После dropna:
     A    B
2  3.0  6.0
После fillna:
     A    B
0  1.0 -1.0
1  0.0  5.0
2  3.0  6.0

Преобразование типов данных

df_types = pd.DataFrame({'Цена': ['100', '200.5', '300'], 'Количество': ['1', '2', '3']})
df_types['Цена'] = pd.to_numeric(df_types['Цена'], errors='coerce')
df_types['Количество'] = df_types['Количество'].astype(int)
print(df_types.dtypes)
print(df_types)

Цена        float64
Количество     int32
dtype: object
     Цена  Количество
0  100.0           1
1  200.5           2
2  300.0           3