Инструменты Data Science: scikit-learn, TensorFlow и PyTorch для ML на Python

Расширенные примеры работы с библиотеками

Scikit-learn: пайплайны и подбор гиперпараметров

Пайплайны объединяют предобработку и модель в один объект, что упрощает перекрёстную проверку. В примере используется StandardScaler и SVM с подбором C через GridSearchCV.

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.datasets import load_wine

wine = load_wine()
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.2, random_state=42)

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('svm', SVC())
])

param_grid = {
    'svm__C': [0.1, 1, 10],
    'svm__kernel': ['linear', 'rbf']
}

grid = GridSearchCV(pipe, param_grid, cv=5, scoring='accuracy')
grid.fit(X_train, y_train)
print('Best params:', grid.best_params_)
print('Test accuracy:', grid.score(X_test, y_test))

Best params: {'svm__C': 1, 'svm__kernel': 'rbf'}
Test accuracy: 1.0

Результат показывает, что оптимальные гиперпараметры – C=1 и ядро RBF. Пайплайн автоматически применяет масштабирование только на тренировочных данных, избегая утечки.

TensorFlow: сохранение и загрузка модели

Для развёртывания моделей в production важно уметь сохранять обученные веса. Формат SavedModel позволяет восстановить модель без переобучения.

model.save('mnist_model')
loaded_model = tf.keras.models.load_model('mnist_model')
loss, acc = loaded_model.evaluate(x_test, y_test, verbose=0)
print('Loaded model accuracy:', acc)

Loaded model accuracy: 0.9761

Модель сохраняется в папку 'mnist_model' со всей архитектурой, весами и конфигурацией оптимизатора. Загрузка восстанавливает точность без потерь.

PyTorch: кастомный Dataset и DataLoader для изображений

Для работы с собственными данными часто требуется написать класс, наследующий torch.utils.data.Dataset. Пример загружает изображения из папок и применяет аугментацию.

import os
from PIL import Image
from torch.utils.data import Dataset
from torchvision import transforms

class CatDogDataset(Dataset):
    def __init__(self, root_dir, transform=None):
        self.root_dir = root_dir
        self.transform = transform
        self.images = [f for f in os.listdir(root_dir) if f.endswith(('.jpg','.png'))]
        
    def __len__(self):
        return len(self.images)
    
    def __getitem__(self, idx):
        img_name = os.path.join(self.root_dir, self.images[idx])
        image = Image.open(img_name).convert('RGB')
        label = 0 if 'cat' in self.images[idx] else 1
        if self.transform:
            image = self.transform(image)
        return image, label

transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

dataset = CatDogDataset('path/to/images', transform=transform)
dataloader = DataLoader(dataset, batch_size=16, shuffle=True)
for images, labels in dataloader:
    print(images.shape, labels.shape)
    break

torch.Size([16, 3, 224, 224]) torch.Size([16])

Кастомный датасет загружает изображения и возвращает тензоры с нормализацией. Это основа для обучения любой модели свёрточной сети.