Работа с таблицами значений: от списков до DataFrame

Пример 1: Объединение нескольких DataFrame (merge и join)

Часто требуется объединить таблицы по ключу. Рассмотрим слияние двух наборов данных о сотрудниках и отделах.

import pandas as pd

employees = pd.DataFrame({
    'emp_id': [1, 2, 3],
    'name': ['Анна', 'Борис', 'Виктор'],
    'dept_id': [10, 20, 10]
})
departments = pd.DataFrame({
    'dept_id': [10, 20],
    'dept_name': ['ИТ', 'Маркетинг']
})

merged = pd.merge(employees, departments, on='dept_id')
print(merged)

   emp_id  name  dept_id   dept_name
0       1  Анна       10          ИТ
1       3  Виктор     10          ИТ
2       2  Борис      20    Маркетинг

Ошибка: если ключи не уникальны в одной из таблиц, получится декартово произведение. Следует проверять дубликаты с помощью duplicated().

Пример 2: Сводная таблица (pivot table)

Агрегация данных по нескольким измерениям.

import pandas as pd

sales = pd.DataFrame({
    'month': ['Янв','Янв','Фев','Фев'],
    'product': ['A','B','A','B'],
    'revenue': [100, 150, 200, 250]
})
pivot = pd.pivot_table(sales, values='revenue', index='month', columns='product', aggfunc='sum')
print(pivot)

product    A    B
month           
Фев      200  250
Янв      100  150

Если агрегируемая функция не указана, по умолчанию - mean. Ошибки: пропущенные данные - заполнять через fillna.

Пример 3: Применение пользовательских функций к строкам и столбцам

Метод apply позволяет гибко преобразовывать данные.

import pandas as pd

df = pd.DataFrame({'a': [1,2,3], 'b': [4,5,6]})
# Функция для суммы по строке
df['sum'] = df.apply(lambda row: row['a'] + row['b'], axis=1)
# Функция для столбца - квадрат
df['a_sq'] = df['a'].apply(lambda x: x**2)
print(df)

   a  b  sum  a_sq
0  1  4    5     1
1  2  5    7     4
2  3  6    9     9

Проблема: apply с axis=1 медленный на больших данных. Альтернатива - векторизованные операции.

Пример 4: Работа с датами и временными рядами

import pandas as pd

dates = pd.date_range('2024-01-01', periods=5, freq='D')
df = pd.DataFrame({'date': dates, 'value': [10,20,15,30,25]})
df['weekday'] = df['date'].dt.day_name()
print(df)

       date  value   weekday
0 2024-01-01     10    Monday
1 2024-01-02     20   Tuesday
2 2024-01-03     15 Wednesday
3 2024-01-04     30  Thursday
4 2024-01-05     25    Friday

Ошибки: попытка использовать dt на столбце не datetime типа. Решение: pd.to_datetime().

Пример 5: Использование структурных массивов NumPy для смешанных типов

import numpy as np

dtype = [('name', 'U10'), ('age', 'i4'), ('city', 'U15')]
data = np.array([('Анна', 25, 'Москва'), ('Борис', 32, 'СПб')], dtype=dtype)
print(data['name'], data['age'])

['Анна' 'Борис'] [25 32]

NumPy поддерживает именованные поля, но синтаксис менее удобен, чем pandas.

Пример 6: Асинхронное чтение большого CSV с помощью pandas chunks

import pandas as pd

chunk_size = 1000
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    # обработка фрагмента
    print(f'Обработано строк: {len(chunk)}')
    # например, агрегация
    break  # для демонстрации только первый чанк

Это позволяет обрабатывать файлы, не помещающиеся в память.

Пример 7: Сохранение таблицы в Excel с несколькими листами

with pd.ExcelWriter('output.xlsx') as writer:
    df1.to_excel(writer, sheet_name='Лист1')
    df2.to_excel(writer, sheet_name='Лист2')

Ошибка: если не установлен openpyxl или xlwt - ImportError. Установка: pip install openpyxl.