Scikit-learn: инструментарий для ML проектов на Python

Расширенные примеры использования Scikit-learn

Как объединить предобработку и обучение в единый пайплайн с подбором гиперпараметров?

Использование Pipeline и GridSearchCV позволяет автоматизировать процесс масштабирования и настройки модели. В примере ниже для задачи классификации на наборе Iris подбираются параметры SVM и выбирается метод масштабирования.

from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler, MinMaxScaler

pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('svm', SVC())
])

param_grid = {
    'scaler': [StandardScaler(), MinMaxScaler()],
    'svm__kernel': ['linear', 'rbf'],
    'svm__C': [0.1, 1, 10]
}

grid = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy')
grid.fit(X_train, y_train)
print("Лучшие параметры:", grid.best_params_)
print("Лучшая точность (CV):", grid.best_score_)

Лучшие параметры: {'scaler': StandardScaler(), 'svm__C': 1, 'svm__kernel': 'rbf'}
Лучшая точность (CV): 0.9833333333333333

Как обработать категориальные признаки с помощью OneHotEncoder и ColumnTransformer?

На примере датасета Titanic (вымышленный код) показана обработка смешанных типов данных. Сначала разделяем числовые и категориальные колонки, применяем к ним разные преобразования и объединяем через ColumnTransformer.

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

# Предположим, что df содержит числовые и категориальные признаки
numeric_features = ['age', 'fare']
categorical_features = ['sex', 'embarked']

preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(handle_unknown='ignore'), categorical_features)
    ]
)

full_pipeline = Pipeline([
    ('prep', preprocessor),
    ('clf', RandomForestClassifier(random_state=42))
])

# full_pipeline.fit(X_train, y_train)

Как сохранить обученную модель и загрузить её для дальнейшего использования?

import joblib
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier().fit(X_train, y_train)
joblib.dump(model, 'model.pkl')

# загрузка
loaded_model = joblib.load('model.pkl')
preds = loaded_model.predict(X_test)
print(preds[:5])

[0 1 2 1 1]

Как выполнить кросс-валидацию вручную для оценки стабильности модели?

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

scores = cross_val_score(LogisticRegression(max_iter=1000), X, y, cv=5, scoring='accuracy')
print("Оценки по фолдам:", scores)
print("Среднее:", scores.mean())

Оценки по фолдам: [0.96666667 1.         0.93333333 0.96666667 1.        ]
Среднее: 0.9733333333333334

Как использовать метрики для регрессии, например, R² и MAE?

from sklearn.metrics import r2_score, mean_absolute_error

y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
print("R²:", r2_score(y_true, y_pred))
print("MAE:", mean_absolute_error(y_true, y_pred))

R²: 0.9486081370449679
MAE: 0.5

Как построить кривую ROC и вычислить AUC для бинарного классификатора?

from sklearn.metrics import roc_curve, auc
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X_bin, y_bin = make_classification(n_samples=200, n_features=2, random_state=42)
X_train_b, X_test_b, y_train_b, y_test_b = train_test_split(X_bin, y_bin, test_size=0.3, random_state=42)

lr = LogisticRegression()
lr.fit(X_train_b, y_train_b)
y_score = lr.predict_proba(X_test_b)[:, 1]
fpr, tpr, _ = roc_curve(y_test_b, y_score)
roc_auc = auc(fpr, tpr)
print("AUC:", roc_auc)

AUC: 0.9743589743589743

Для визуализации ROC-кривой можно использовать библиотеку matplotlib.