Практические примеры реализации ИИ на Python

Расширенные примеры искусственного интеллекта на Python

Случайный лес для классификации ирисов (сравнение с логистической регрессией)

Случайный лес состоит из множества деревьев решений, устойчив к переобучению и хорошо работает с нелинейными зависимостями.

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

data = load_iris()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)
print(f'Random Forest accuracy: {accuracy_score(y_test, y_pred):.2f}')
print('Feature importances:', rf.feature_importances_)

Random Forest accuracy: 1.00
Feature importances: [0.10 0.04 0.42 0.44]

Модель показала 100% точность на данном разбиении, дополнительно выводится важность признаков – можно понять, какие признаки наиболее значимы.

Сверточная нейронная сеть для классификации изображений CIFAR-10

CIFAR-10 содержит 60 000 цветных изображений 32x32 из 10 классов. Сверточные слои извлекают пространственные признаки.

from tensorflow.keras.datasets import cifar10
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.utils import to_categorical

(X_train, y_train), (X_test, y_test) = cifar10.load_data()
X_train = X_train.astype('float32') / 255.0
X_test = X_test.astype('float32') / 255.0
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

model = Sequential([
    Conv2D(32, (3,3), activation='relu', input_shape=(32,32,3)),
    MaxPooling2D((2,2)),
    Conv2D(64, (3,3), activation='relu'),
    MaxPooling2D((2,2)),
    Flatten(),
    Dense(128, activation='relu'),
    Dropout(0.5),
    Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=10, batch_size=64, validation_split=0.1)
loss, acc = model.evaluate(X_test, y_test)
print(f'Test accuracy: {acc:.4f}')

Epoch 10/10
703/703 [==============================] - 12s 17ms/step - loss: 0.8276 - accuracy: 0.7072 - val_loss: 0.7907 - val_accuracy: 0.7247
Test accuracy: 0.7163

Сеть из двух сверточных слоев и полносвязного слоя с Dropout дает около 72% точности. Для улучшения можно добавить аугментацию данных и увеличить глубину сети.

LSTM для прогнозирования временного ряда (синусоида)

Рекуррентные сети LSTM подходят для последовательностей. Пример: предсказать следующую точку синусоиды по предыдущим 50.

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense

# генерация данных
x = np.linspace(0, 100, 1000)
y = np.sin(x)
seq_length = 50
X, Y = [], []
for i in range(len(y)-seq_length):
    X.append(y[i:i+seq_length])
    Y.append(y[i+seq_length])
X = np.array(X).reshape(-1, seq_length, 1)
Y = np.array(Y)

# разделение
split = int(len(X)*0.8)
X_train, X_test = X[:split], X[split:]
y_train, y_test = Y[:split], Y[split:]

model = Sequential([
    LSTM(50, activation='relu', input_shape=(seq_length, 1)),
    Dense(1)
])
model.compile(optimizer='adam', loss='mse')
model.fit(X_train, y_train, epochs=20, batch_size=32, validation_data=(X_test, y_test), verbose=0)
loss = model.evaluate(X_test, y_test)
print(f'Test MSE: {loss:.6f}')

Test MSE: 0.000218

Модель научилась предсказывать синусоиду с очень малой ошибкой. LSTM эффективны для задач с долгосрочными зависимостями.

Трансферное обучение с предобученной VGG16 для классификации кошек и собак

Использование предобученной на ImageNet модели VGG16, замена верхних слоев под новую задачу, экономит время и данные.

from tensorflow.keras.applications import VGG16
from tensorflow.keras.models import Model
from tensorflow.keras.layers import GlobalAveragePooling2D, Dense
from tensorflow.keras.preprocessing.image import ImageDataGenerator

base_model = VGG16(weights='imagenet', include_top=False, input_shape=(224,224,3))
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(128, activation='relu')(x)
predictions = Dense(1, activation='sigmoid')(x)
model = Model(inputs=base_model.input, outputs=predictions)

# заморозка базовых слоев
for layer in base_model.layers:
    layer.trainable = False

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# генератор данных (структура папок train/cats, train/dogs)
datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2)
train_gen = datagen.flow_from_directory('train', target_size=(224,224), batch_size=32, class_mode='binary', subset='training')
val_gen = datagen.flow_from_directory('train', target_size=(224,224), batch_size=32, class_mode='binary', subset='validation')
model.fit(train_gen, epochs=5, validation_data=val_gen)
print('Transfer learning completed.')

Found 2000 images belonging to 2 classes.
Found 500 images belonging to 2 classes.
Epoch 5/5
... accuracy: 0.98 - val_accuracy: 0.97

После трансферного обучения точность достигает 97% без необходимости обучать всю сеть с нуля. Рекомендуется разморозить несколько верхних слоев для тонкой настройки.

Использование предобученной модели BERT для анализа тональности (Hugging Face)

Современные трансформеры, такие как BERT, дают высокое качество в NLP. Библиотека transformers упрощает загрузку и тонкую настройку.

from transformers import pipeline

classifier = pipeline('sentiment-analysis', model='distilbert-base-uncased-finetuned-sst-2-english')
results = classifier([
    'I love this product!',
    'This is terrible.'
])
for r in results:
    print(r)

{'label': 'POSITIVE', 'score': 0.9998}
{'label': 'NEGATIVE', 'score': 0.9996}

Использование готового пайплайна – самый быстрый способ получить качественный анализ тональности. Возможна тонкая настройка на собственных данных.