Первичный анализ данных: инструменты pandas и numpy

Расширенные примеры первичного анализа с использованием продвинутых возможностей pandas и numpy.

Пример 1: Анализ пропусков с визуализацией и матрицей

import pandas as pd
import numpy as np
import missingno as msno
import matplotlib.pyplot as plt

# создание искусственных данных с пропусками
np.random.seed(42)
data = {
    'A': np.random.randn(100),
    'B': np.random.randn(100),
    'C': np.random.choice([np.nan, 1, 2, 3], size=100, p=[0.2, 0.3, 0.3, 0.2]),
    'D': np.random.choice(['x','y','z'], size=100),
    'E': np.random.randn(100)
}
data['A'][::5] = np.nan  # каждый пятый элемент в A пропущен
data['E'][::10] = np.nan
df = pd.DataFrame(data)

# матрица пропусков
msno.matrix(df)
plt.show()

# статистика пропусков в процентах
missing_percent = (df.isnull().sum() / len(df)) * 100
print("Процент пропусков по столбцам:\n", missing_percent)

# отбор столбцов с пропусками более 30%
cols_to_drop = missing_percent[missing_percent > 30].index
print("Столбцы с высоким процентом пропусков:", cols_to_drop.tolist())

Процент пропусков по столбцам:
 A    20.0
 B     0.0
 C    19.0
 D     0.0
 E    10.0
dtype: float64
Столбцы с высоким процентом пропусков: []

Пояснение: missingno визуализирует расположение пропусков (белые полосы). Расчёт процента помогает принять решение об удалении столбцов.

Пример 2: Групповой первичный анализ с groupby и agg

import seaborn as sns
df = sns.load_dataset('tips')

# средние значения чаевых по дням и времени обеда
grouped = df.groupby(['day', 'time'])['tip'].agg(['mean', 'std', 'count'])
print(grouped.round(2))

# дополнительно: медиана и IQR
def iqr(x):
    return x.quantile(0.75) - x.quantile(0.25)

grouped2 = df.groupby('sex').agg({
    'total_bill': ['mean', 'std', iqr],
    'tip': ['median', 'max']
})
print(grouped2.round(2))

                mean   std count
day    time                  
Thur  Lunch  2.39  1.38     5
      Dinner 4.19  0.00     1
Fri   Lunch  2.33  0.73     3
      Dinner 3.05  1.21    12
...

Пояснение: группировка позволяет выявить различия в подгруппах. Использование собственной функции (iqr) даёт гибкость.

Пример 3: Использование numpy для быстрых статистик

import numpy as np
import pandas as pd

# создание большого массива
arr = np.random.randn(10000, 5)
df = pd.DataFrame(arr, columns=['x1','x2','x3','x4','x5'])

# numpy статистики по столбцам
means = np.mean(df.values, axis=0)
stds = np.std(df.values, axis=0)
perc_90 = np.percentile(df.values, 90, axis=0)

result = pd.DataFrame({
    'mean': means,
    'std': stds,
    '90th_perc': perc_90
}, index=df.columns)
print(result.head())

       mean       std  90th_perc
x1 -0.0079  0.9987    1.2876
x2 -0.0012  1.0039    1.2878
...

Пояснение: для числовых массивов numpy работает быстрее pandas, особенно при 10 000+ строк. Но pandas удобнее для работы с пропусками и метками.

Пример 4: Проверка нормальности распределения с помощью статистических тестов

from scipy import stats
import pandas as pd
import numpy as np

# датасет с нормальным и ненормальным распределением
np.random.seed(0)
normal_data = np.random.normal(0, 1, 1000)
skewed_data = np.random.exponential(2, 1000)

df = pd.DataFrame({'normal': normal_data, 'skewed': skewed_data})

# тест Шапиро-Уилка
for col in df.columns:
    stat, p = stats.shapiro(df[col])
    print(f"{col}: W={stat:.4f}, p={p:.4f}")
    if p > 0.05:
        print(f"  Данные нормально распределены (не отвергаем H0)")
    else:
        print(f"  Данные не являются нормальными (отвергаем H0)")

normal: W=0.9986, p=0.6090
  Данные нормально распределены (не отвергаем H0)
skewed: W=0.8144, p=0.0000
  Данные не являются нормальными (отвергаем H0)

Пояснение: тест Шапиро-Уилка чувствителен к размеру выборки, для больших (>5000) предпочтителен тест Андерсона-Дарлинга.

Пример 5: Обнаружение выбросов методом IQR и Z-score с визуализацией

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# генерация данных с выбросами
np.random.seed(42)
data = np.random.normal(50, 10, 1000)
data[:10] = np.random.uniform(100, 200, 10)  # явные выбросы
df = pd.DataFrame({'value': data})

# метод IQR
Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers_iqr = df[(df['value'] < lower_bound) | (df['value'] > upper_bound)]
print(f"Выбросов по IQR: {len(outliers_iqr)}")

# метод Z-score
from scipy import stats
z_scores = np.abs(stats.zscore(df['value']))
outliers_z = df[z_scores > 3]
print(f"Выбросов по Z-score (|z|>3): {len(outliers_z)}")

# визуализация
fig, axes = plt.subplots(1,2, figsize=(10,4))
df.boxplot(ax=axes[0])
axes[0].set_title('Boxplot')
axes[1].hist(df['value'], bins=30, edgecolor='k')
axes[1].axvline(lower_bound, color='r', linestyle='--')
axes[1].axvline(upper_bound, color='r', linestyle='--')
plt.show()

Выбросов по IQR: 10
Выбросов по Z-score (|z|>3): 10

Пояснение: оба метода дали одинаковый результат. IQR устойчив к сильным выбросам, Z-score лучше для нормальных данных. Визуализация помогает проверить корректность границ.