Написание нейросети на Python: от простого перцептрона до глубоких моделей

Расширенные примеры программирования нейросетей на Python

1. Полносвязная сеть для MNIST с сохранением чекпоинтов и визуализацией кривых обучения

import tensorflow as tf
from tensorflow.keras import layers, models, callbacks
import matplotlib.pyplot as plt

# Загрузка и подготовка данных
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

# Модель
model = models.Sequential([
    layers.Flatten(input_shape=(28, 28)),
    layers.Dense(512, activation='relu'),
    layers.BatchNormalization(),
    layers.Dropout(0.3),
    layers.Dense(256, activation='relu'),
    layers.Dropout(0.3),
    layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# Колбэки
checkpoint = callbacks.ModelCheckpoint('mnist_model.keras', save_best_only=True, monitor='val_accuracy')
early_stop = callbacks.EarlyStopping(patience=3, restore_best_weights=True)

# Обучение
history = model.fit(x_train, y_train,
                    epochs=20,
                    batch_size=128,
                    validation_split=0.2,
                    callbacks=[checkpoint, early_stop])

# Визуализация
plt.plot(history.history['accuracy'], label='Точность обучения')
plt.plot(history.history['val_accuracy'], label='Точность валидации')
plt.xlabel('Эпоха')
plt.ylabel('Точность')
plt.legend()
plt.savefig('training_curve.png')
plt.show()

Результат: график точности обучения и валидации сохраняется в файл training_curve.png. Модель с наилучшей точностью на валидации сохранена в mnist_model.keras.

2. Сверточная нейросеть (CNN) для классификации CIFAR-10 с аугментацией данных

import tensorflow as tf
from tensorflow.keras import layers, models, datasets
from tensorflow.keras.preprocessing.image import ImageDataGenerator

# Загрузка CIFAR-10
(x_train, y_train), (x_test, y_test) = datasets.cifar10.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

# Аугментация
datagen = ImageDataGenerator(
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True)
datagen.fit(x_train)

# Модель
model = models.Sequential([
    layers.Conv2D(32, (3,3), activation='relu', input_shape=(32,32,3)),
    layers.MaxPooling2D((2,2)),
    layers.Conv2D(64, (3,3), activation='relu'),
    layers.MaxPooling2D((2,2)),
    layers.Conv2D(64, (3,3), activation='relu'),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# Обучение с аугментацией
model.fit(datagen.flow(x_train, y_train, batch_size=64),
          epochs=30,
          validation_data=(x_test, y_test))

Точность на тестовом наборе CIFAR-10 обычно достигает 70-75% после 30 эпох. Аугментация помогает бороться с переобучением.

3. Рекуррентная сеть (LSTM) для прогнозирования временных рядов

import numpy as np
import tensorflow as tf
from tensorflow.keras import layers, models

# Синтетические данные: синус + шум
x = np.linspace(0, 100, 1000)
y = np.sin(x) + 0.1*np.random.randn(1000)

# Формирование последовательностей (окно 20 шагов)
def create_sequences(data, seq_length):
    xs, ys = [], []
    for i in range(len(data)-seq_length):
        xs.append(data[i:i+seq_length])
        ys.append(data[i+seq_length])
    return np.array(xs), np.array(ys)

X, Y = create_sequences(y, 20)
X = X.reshape((X.shape[0], X.shape[1], 1))

# Модель
model = models.Sequential([
    layers.LSTM(50, activation='relu', input_shape=(20, 1)),
    layers.Dense(1)
])
model.compile(optimizer='adam', loss='mse')

# Обучение
model.fit(X, Y, epochs=100, verbose=0)

# Предсказание
pred = model.predict(X[-10:], verbose=0)
print(pred.flatten())

Вывод: массив из 10 предсказанных значений, близких к реальным синусоидальным значениям.

4. Использование предобученной модели (Transfer Learning) с PyTorch для классификации

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import models, transforms, datasets

# Загрузка предобученной ResNet18
model = models.resnet18(pretrained=True)

# Замена последнего слоя на новую голову (10 классов)
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, 10)

# Заморозка всех слоёв, кроме последнего
for param in model.parameters():
    param.requires_grad = False
for param in model.fc.parameters():
    param.requires_grad = True

# Оптимизатор и функция потерь
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.fc.parameters(), lr=0.001)

# Данные (пример: ImageFolder)
# train_loader = ...
# Цикл обучения опущен для краткости

После обучения только головы классификатора точность на новом датасете из 10 классов может достигать 90+% при достаточном количестве данных.

5. Генерация текста с помощью простой RNN (char-level) на TensorFlow

import tensorflow as tf
import numpy as np

# Текст для обучения (например, Шекспир)
text = "To be or not to be, that is the question..."
# Словарь символов
chars = sorted(set(text))
char2idx = {c:i for i,c in enumerate(chars)}
idx2char = {i:c for c,i in char2idx.items()}

# Векторизация
text_as_int = np.array([char2idx[c] for c in text])
seq_length = 10
sequences = []
for i in range(0, len(text_as_int)-seq_length):
    sequences.append(text_as_int[i:i+seq_length+1])

X = np.array([s[:-1] for s in sequences])
y = np.array([s[-1] for s in sequences])

# Модель
model = tf.keras.Sequential([
    tf.keras.layers.Embedding(len(chars), 16),
    tf.keras.layers.SimpleRNN(32),
    tf.keras.layers.Dense(len(chars), activation='softmax')
])
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam')
model.fit(X, y, epochs=50, verbose=0)

# Генерация нового текста
start = "To be or n"
for _ in range(20):
    inp = np.array([char2idx[c] for c in start[-seq_length:]]).reshape(1,-1)
    pred = model.predict(inp, verbose=0)[0]
    next_char = idx2char[np.random.choice(len(chars), p=pred)]
    start += next_char
print(start)

Пример вывода: "To be or not to be, that is the question..." (возможно, с ошибками из-за короткого обучения).