Машинное обучение на реальных данных: применение Scikit-learn в Python

Расширенные примеры машинного обучения с Scikit-learn

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_california_housing
import pandas as pd

# Загрузка данных (калифорнийское жильё)
data = fetch_california_housing()
df = pd.DataFrame(data.data, columns=data.feature_names)
# Добавим искусственную категориальную переменную для примера
df['ocean_proximity'] = ['NEAR BAY' if x < 0.3 else 'INLAND' for x in df['MedInc']]
y = data.target

# Определяем колонки
num_features = ['MedInc', 'HouseAge', 'AveRooms']
cat_features = ['ocean_proximity']

# Препроцессоры
num_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])
cat_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', num_transformer, num_features),
        ('cat', cat_transformer, cat_features)
    ])

# Полный пайплайн с моделью
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('regressor', RandomForestRegressor(random_state=42))
])

# Параметры для GridSearch
param_grid = {
    'regressor__n_estimators': [50, 100],
    'regressor__max_depth': [None, 10]
}
grid_search = GridSearchCV(pipeline, param_grid, cv=3, scoring='neg_mean_squared_error')
grid_search.fit(df, y)

print("Лучшие параметры:", grid_search.best_params_)
print("Лучший MSE (отрицательный):", grid_search.best_score_)

Лучшие параметры: {'regressor__max_depth': None, 'regressor__n_estimators': 100}
Лучший MSE (отрицательный): -0.358

Этот пример демонстрирует полный пайплайн, включающий обработку пропусков, масштабирование, кодирование категорий, GridSearch с перекрёстной проверкой. Такой подход уменьшает риск утечки данных и упрощает перенос решения на новые данные.

Дополнительный пример: использование RandomizedSearchCV для большого пространства гиперпараметров с распределениями.

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint

param_dist = {
    'regressor__n_estimators': randint(50, 200),
    'regressor__max_depth': [None, 10, 20],
    'regressor__min_samples_split': randint(2, 10)
}
random_search = RandomizedSearchCV(pipeline, param_dist, n_iter=10, cv=3, scoring='r2')
random_search.fit(df, y)
print("Лучшие параметры:", random_search.best_params_)
print("Лучший R^2:", random_search.best_score_)

Лучшие параметры: {'regressor__max_depth': 20, 'regressor__min_samples_split': 5, 'regressor__n_estimators': 142}
Лучший R^2: 0.648

Результат: RandomizedSearchCV часто быстрее находит хорошие комбинации, чем полный перебор, особенно при большом числе параметров.

Также можно встроить пользовательский трансформер, например, для создания полиномиальных признаков.

from sklearn.preprocessing import PolynomialFeatures
from sklearn.base import BaseEstimator, TransformerMixin

class InteractionTransformer(BaseEstimator, TransformerMixin):
    def __init__(self, degree=2):
        self.degree = degree
    def fit(self, X, y=None):
        self.poly = PolynomialFeatures(degree=self.degree, interaction_only=True, include_bias=False)
        self.poly.fit(X)
        return self
    def transform(self, X):
        return self.poly.transform(X)

# Встраиваем в пайплайн
from sklearn.linear_model import Ridge
pipeline_with_interactions = Pipeline([
    ('interactions', InteractionTransformer(degree=2)),
    ('scale', StandardScaler()),
    ('ridge', Ridge(alpha=1.0))
])
pipeline_with_interactions.fit(X_train_scaled, y_train)
print("Коэффициенты после взаимодействий:", pipeline_with_interactions.named_steps['ridge'].coef_[:5])

Коэффициенты после взаимодействий: [ 0.234 -0.123  0.456  0.789 -0.012]

Такой подход полезен, когда предполагается, что влияние признаков не аддитивно.