Применение Scikit-learn в задачах анализа данных

Пользовательский трансформатор для удаления коррелирующих признаков

Встроенные трансформаторы покрывают типовые операции. Для нестандартной логики можно определить собственный класс на основе BaseEstimator и TransformerMixin.

import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin

class DropCorrelated(BaseEstimator, TransformerMixin):
    def __init__(self, threshold=0.9):
        self.threshold = threshold
        self.drop_columns_ = []

    def fit(self, X, y=None):
        corr = np.corrcoef(X, rowvar=False)
        upper = np.triu(corr, k=1)
        drop = set()
        for i in range(corr.shape[1] - 1):
            for j in range(i + 1, corr.shape[1]):
                if abs(upper[i, j]) > self.threshold:
                    drop.add(j)
        self.drop_columns_ = sorted(drop)
        return self

    def transform(self, X):
        return np.delete(X, self.drop_columns_, axis=1)

Метод fit вычисляет корреляционную матрицу и сохраняет индексы колонок, которые следует исключить. В методе transform эти колонки удаляются из массива.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

data = load_breast_cancer()
X, y = data.data, data.target

pipe = Pipeline([
    ('drop', DropCorrelated(threshold=0.95)),
    ('scaler', StandardScaler()),
    ('model', LogisticRegression(max_iter=200))
])
pipe.fit(X, y)
print(pipe.named_steps['drop'].drop_columns_)
print(pipe.score(X, y))

[5, 12, 17, 21, 22, 23, 24]
0.9824

Такой трансформатор удобно использовать внутри Pipeline. Обучающая и тестовая выборки проходят одинаковые преобразования.

Многометочная перекрестная проверка с повторными разбиениями

Повторная стратифицированная кросс-валидация полезна для стабильной оценки качества на небольших выборках.

from sklearn.model_selection import cross_validate, RepeatedStratifiedKFold
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine

data = load_wine()
X, y = data.data, data.target
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=3, random_state=1)
scoring = ['accuracy', 'f1_macro', 'roc_auc_ovr']
results = cross_validate(
    RandomForestClassifier(random_state=1),
    X, y, cv=cv, scoring=scoring
)
for metric in scoring:
    key = 'test_' + metric
    print(metric, round(results[key].mean(), 4))

accuracy 0.9857
f1_macro 0.9854
roc_auc_ovr 0.9982

Результат содержит несколько метрик одновременно, поэтому не нужно обучать модель по отдельности для каждой метрики.

Рекурсивный отбор признаков с перекрестной проверкой

Рекурсивное удаление признаков помогает найти небольшой набор переменных, которые сохраняют качество модели.

from sklearn.datasets import make_classification
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import StandardScaler

X, y = make_classification(
    n_samples=500, n_features=15, n_informative=6,
    random_state=10
)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
model = LogisticRegression(max_iter=200)
cv = StratifiedKFold(5, shuffle=True, random_state=10)
selector = RFECV(model, cv=cv, scoring='accuracy')
selector.fit(X_scaled, y)
print(selector.n_features_)

6

Число признаков совпало с количеством информативных переменных в синтетическом наборе. На реальных данных RFECV выполняет отбор на основе внутренней важности признаков модели.

Калибровка вероятностей редких событий

Для оценки вероятностей классов часто применяется калибровка. Модель случайного леса может выдавать смещенные вероятности, поэтому используется CalibratedClassifierCV.

from sklearn.calibration import CalibratedClassifierCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import brier_score_loss

X, y = make_classification(
    n_samples=2000, n_features=10, n_informative=5,
    weights=[0.8, 0.2], random_state=5
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=5
)
base = RandomForestClassifier(n_estimators=100, random_state=5)
base.fit(X_train, y_train)
prob_before = base.predict_proba(X_test)[:, 1]
loss_before = brier_score_loss(y_test, prob_before)

calibrated = CalibratedClassifierCV(base, cv=5, method='sigmoid')
calibrated.fit(X_train, y_train)
prob_after = calibrated.predict_proba(X_test)[:, 1]
loss_after = brier_score_loss(y_test, prob_after)

print('brier before', round(loss_before, 4))
print('brier after', round(loss_after, 4))

brier before 0.0961
brier after 0.0724

Метрика Бриера показывает средний квадрат отклонения предсказанной вероятности от фактического события. Меньшее значение означает более точные вероятности.

Автоматический выбор колонок по типу данных

make_column_selector упрощает построение преобразователя, когда колонки выбираются по типу данных, а не по списку имен.

import pandas as pd
from sklearn.compose import ColumnTransformer, make_column_selector
from sklearn.preprocessing import StandardScaler, OneHotEncoder

df = pd.DataFrame({
    'age': [25, 30, 35],
    'income': [50000, 60000, 70000],
    'city': ['Moscow', 'Kazan', 'Tomsk']
})
X = df.drop(columns=['income'])

preprocessor = ColumnTransformer([
    ('num', StandardScaler(), make_column_selector(dtype_include='int64')),
    ('cat', OneHotEncoder(), make_column_selector(dtype_include='object'))
])
transformed = preprocessor.fit_transform(X)
print(transformed.shape)

(3, 4)

В этом примере числовая колонка age стандартизируется, а город превращается в три бинарных признака. Метод автоматически определяет нужные колонки по их типу.