Оценка и уменьшение длительности тренировки моделей на Python

Расширенные примеры измерения и оптимизации времени обучения

Пример 1. Замер времени обучения с автоматическим отбрасыванием выбросов

Используем timeit.repeat и отбрасываем самый быстрый и самый медленный замеры для повышения робастности.

import timeit, numpy as np
from sklearn.linear_model import LogisticRegression

X_big, y_big = make_classification(n_samples=5000, n_features=50)
model = LogisticRegression(max_iter=1000, solver='lbfgs')

def time_model(model, X, y, repeat=10):
    stmt = 'model.fit(X, y)'
    setup = 'from __main__ import model, X, y'
    times = timeit.repeat(stmt, setup, number=1, repeat=repeat)
    times = sorted(times)[1:-1]  # отбрасываем min и max
    return np.mean(times), np.std(times)

mean_time, std_time = time_model(model, X_big, y_big, repeat=10)
print(f'Усреднённое время: {mean_time:.4f} ± {std_time:.4f} сек')

Усреднённое время: 0.5123 ± 0.0142 сек

Пример 2. Профилирование обучения с визуализацией через snakeviz

Сначала сохраняем профиль в файл, затем открываем его в браузере с помощью snakeviz.

import cProfile
import pstats
import sklearn

prof = cProfile.Profile()
prof.enable()
knn = sklearn.neighbors.KNeighborsClassifier(n_neighbors=5).fit(X_big, y_big)
prof.disable()

# Сохраняем результат
prof.dump_stats('knn_profile.prof')
# В командной строке: snakeviz knn_profile.prof

Откроется интерактивный график вызовов.

Пример 3. Параллельный GridSearchCV с таймингом каждой комбинации

Чтобы оценить время полного перебора гиперпараметров, можно использовать RandomizedSearchCV с параллелизацией и логированием.

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import GradientBoostingClassifier
import time

gbm = GradientBoostingClassifier(random_state=42)
param_dist = {'max_depth': [3,5,7], 'n_estimators': [50,100,200]}

random_search = RandomizedSearchCV(gbm, param_dist, n_iter=5, cv=3, n_jobs=-1, verbose=1, random_state=42)

t0 = time.time()
random_search.fit(X_big, y_big)
t_total = time.time() - t0
print(f'Общее время поиска: {t_total:.2f} сек')
print(f'Лучшие параметры: {random_search.best_params_}')

Fitting 3 folds for each of 5 candidates, totalling 15 fits
Общее время поиска: 14.82 сек
Лучшие параметры: {'n_estimators': 200, 'max_depth': 7}

Пример 4. Сравнение времен обучения разных моделей на одном датасете

Построим таблицу со средним временем и точностью.

from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier
import pandas as pd

models = [
    ('DecisionTree', DecisionTreeClassifier()),
    ('SVM (rbf)', SVC()),
    ('kNN', KNeighborsClassifier(n_neighbors=5)),
    ('RF', RandomForestClassifier(n_estimators=100))
]

results = []
for name, model in models:
    start = time.time()
    model.fit(X_big, y_big)
    elapsed = time.time() - start
    results.append({'model': name, 'time': round(elapsed, 3)})

df = pd.DataFrame(results)
print(df)

         model   time
0  DecisionTree  0.032
1     SVM (rbf)  3.045
2           kNN  0.891
3            RF  0.512

Пример 5. Использование joblib для кеширования обученной модели (уменьшение времени повторного обучения)

При частом перезапуске ноутбука полезно сохранять модель на диск.

import joblib

# Обучение и сохранение
model = RandomForestClassifier(n_estimators=100).fit(X, y)
joblib.dump(model, 'model.pkl')

# При следующем запуске загружаем вместо обучения
loaded_model = joblib.load('model.pkl')
# Замер времени загрузки
import timeit
load_time = timeit.timeit('joblib.load("model.pkl")', setup='import joblib', number=1)
print(f'Время загрузки: {load_time:.4f} сек (вместо обучения за ~0.3 сек)')

Время загрузки: 0.0021 сек (вместо обучения за ~0.3 сек)

Пример 6. Ускорение обучения с помощью преобразования данных в разреженный формат (для SVM, текстовых данных)

from scipy.sparse import csr_matrix
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer

news = fetch_20newsgroups(subset='train')
vectorizer = TfidfVectorizer(max_features=5000)
X_sparse = vectorizer.fit_transform(news.data)
y_sparse = news.target

# Сравнение плотного и разреженного обучения SVM
svm_sparse = SVC(kernel='linear').fit(X_sparse, y_sparse)
# Замер времени

Разреженная матрица: (11314, 5000) ~ 0.6% заполненности. Время обучения: 3.2 сек