Реализация моделей Data Science: от линейной регрессии до нейросетей на Python

Расширенные примеры построения моделей машинного обучения на Python

Данный раздел содержит детализированные примеры, демонстрирующие полный цикл работы с моделями, включая предобработку, настройку гиперпараметров и оценку. Каждый пример сопровождается кодом и выводом.

Пример 1. Линейная регрессия с полиномиальными признаками

Показывает, как улучшить качество модели при нелинейных зависимостях. Используется библиотека scikit-learn. Данные – сгенерированные с шумом.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline

# Синтетические данные: y = sin(x) + шум
np.random.seed(42)
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(scale=0.2, size=100)

# Модель полиномиальной регрессии степени 5
model = make_pipeline(PolynomialFeatures(degree=5), LinearRegression())
model.fit(X, y)

# Предсказание для плавной кривой
X_test = np.linspace(0, 10, 300).reshape(-1, 1)
y_pred = model.predict(X_test)

# Оценка качества на исходных данных (MSE)
from sklearn.metrics import mean_squared_error
y_pred_train = model.predict(X)
print(f"MSE на обучении: {mean_squared_error(y, y_pred_train):.4f}")

# Визуализация
plt.scatter(X, y, label='Исходные данные')
plt.plot(X_test, y_pred, color='red', linewidth=2, label='Полином 5 степени')
plt.legend()
plt.title('Полиномиальная регрессия для нелинейной зависимости')
plt.show()

MSE на обучении: 0.0431

Пример 2. Классификация с помощью случайного леса и подбор гиперпараметров через GridSearchCV

Показывает применение RandomForestClassifier на датасете breast_cancer и оптимизацию количества деревьев и максимальной глубины.

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.metrics import classification_report

cancer = load_breast_cancer()
X, y = cancer.data, cancer.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20],
    'min_samples_split': [2, 5]
}
rf = RandomForestClassifier(random_state=42)
grid_search = GridSearchCV(rf, param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X_train, y_train)

print(f"Лучшие параметры: {grid_search.best_params_}")
best_model = grid_search.best_estimator_
y_pred = best_model.predict(X_test)
print(classification_report(y_test, y_pred, target_names=cancer.target_names))

Лучшие параметры: {'max_depth': 10, 'min_samples_split': 2, 'n_estimators': 200}
              precision    recall  f1-score   support

   malignant       0.98      0.98      0.98        43
      benign       0.99      0.99      0.99        71

    accuracy                           0.98       114
   macro avg       0.98      0.98      0.98       114
weighted avg       0.98      0.98      0.98       114

Пример 3. LSTM для прогнозирования временных рядов (с использованием TensorFlow/Keras)

Построение рекуррентной нейронной сети для предсказания следующего значения синусоиды на основе 20 предыдущих шагов.

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense

# Генерация данных: синусоида
N = 1000
t = np.linspace(0, 100, N)
data = np.sin(t) + np.random.normal(scale=0.1, size=N)

# Создание последовательностей (окно = 20)
window = 20
X, y = [], []
for i in range(len(data) - window):
    X.append(data[i:i+window])
    y.append(data[i+window])
X = np.array(X).reshape(-1, window, 1)
y = np.array(y)

# Разделение
split = int(0.8 * len(X))
X_train, X_test = X[:split], X[split:]
y_train, y_test = y[:split], y[split:]

# Модель LSTM
model = Sequential([
    LSTM(50, activation='tanh', input_shape=(window, 1)),
    Dense(1)
])
model.compile(optimizer='adam', loss='mse')
history = model.fit(X_train, y_train, epochs=10, validation_split=0.2, verbose=1)

# Оценка
loss = model.evaluate(X_test, y_test, verbose=0)
print(f"Test MSE: {loss:.5f}")

Epoch 10/10
20/20 [==============================] - 0s 10ms/step - loss: 0.0162 - val_loss: 0.0279
Test MSE: 0.02486

Пример 4. Кластеризация с DBSCAN и обработка шумовых точек

Алгоритм DBSCAN не требует указания числа кластеров и способен выделять выбросы. Пример на сгенерированных данных с явными кластерами и шумом.

from sklearn.cluster import DBSCAN
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt

# Нелинейно разделимые кластеры (луны)
X, _ = make_moons(n_samples=200, noise=0.05, random_state=42)
# Добавим шумовые точки
np.random.seed(1)
noise = np.random.uniform(low=-1.5, high=2.5, size=(20, 2))
X = np.vstack([X, noise])

# DBSCAN
db = DBSCAN(eps=0.3, min_samples=5)
labels = db.fit_predict(X)

# Вывод: -1 – шум
unique_labels = set(labels)
print(f"Количество кластеров (без шума): {len([l for l in unique_labels if l != -1])}")
print(f"Количество шумовых точек: {list(labels).count(-1)}")

# Визуализация
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='plasma', s=50, edgecolors='k')
plt.title('Кластеризация DBSCAN')
plt.show()

Количество кластеров (без шума): 2
Количество шумовых точек: 7

Пример 5. Ансамбль моделей с VotingClassifier

Комбинирование нескольких классификаторов для повышения устойчивости (логистическая регрессия, случайный лес, SVM).

from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score

iris = load_iris()
X, y = iris.data, iris.target

# Индивидуальные модели
lr = LogisticRegression(max_iter=200)
rf = RandomForestClassifier(n_estimators=50)
svm = SVC(probability=True)

# Ансамбль (голосование по вероятностям)
voting = VotingClassifier(estimators=[('lr', lr), ('rf', rf), ('svm', svm)], voting='soft')

# Кросс-валидация
scores = cross_val_score(voting, X, y, cv=5, scoring='accuracy')
print(f"Точность ансамбля: {scores.mean():.3f} +/- {scores.std():.3f}")

Точность ансамбля: 0.973 +/- 0.024