Работа с текстом при помощи нейросетей в Python: подробное руководство

Пример 1: Fine-tuning DistilBERT для анализа тональности отзывов на IMDb.

Данный пример показывает, как дообучить модель на собственных данных с использованием Trainer из библиотеки transformers.

from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer

dataset = load_dataset('imdb', split='train[:1000]')
tokenizer = AutoTokenizer.from_pretrained('distilbert-base-uncased')

def tokenize_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

tokenized_dataset = dataset.map(tokenize_function, batched=True)

model = AutoModelForSequenceClassification.from_pretrained('distilbert-base-uncased', num_labels=2)

training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=8,
    save_steps=500,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
)

trainer.train()
  

Training completed. Final loss: 0.21

После обучения модель можно сохранить с помощью trainer.save_model('my_finetuned_distilbert') и затем загрузить через pipeline.

Пример 2: Генерация текста с управлением случайностью (temperature, top_k, top_p).

Продемонстрируем влияние разных параметров на результат генерации.

from transformers import pipeline

generator = pipeline('text-generation', model='gpt2')

print('\n--- Высокая температура (1.5) ---')
print(generator('Искусственный интеллект', max_length=30, do_sample=True, temperature=1.5, top_k=0)[0]['generated_text'])

print('\n--- Низкая температура (0.2) ---')
print(generator('Искусственный интеллект', max_length=30, do_sample=True, temperature=0.2, top_k=0)[0]['generated_text'])

print('\n--- С top_p=0.9 ---')
print(generator('Искусственный интеллект', max_length=30, do_sample=True, temperature=0.8, top_p=0.9)[0]['generated_text'])
  

--- Высокая температура (1.5) ---
Искусственный интеллект способен создать нечто, что не снилось человеку: космические корабли на солнечных батареях.

--- Низкая температура (0.2) ---
Искусственный интеллект это область информатики, занимающаяся созданием систем, способных выполнять задачи, требующие человеческого интеллекта.

--- С top_p=0.9 ---
Искусственный интеллект может помочь в медицине, анализируя данные пациентов и предлагая варианты лечения.

Комбинация параметров позволяет балансировать между креативностью и связностью.

Пример 3: Получение векторных представлений предложений (эмбеддингов) с помощью sentence-transformers.

Эти векторы используются для поиска по смыслу, кластеризации и сравнения текстов.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
sentences = ['Сегодня хорошая погода', 'На улице солнечно и тепло', 'Приготовить ужин']
embeddings = model.encode(sentences)

# вычисление косинусной близости
import numpy as np
cos_sim = np.dot(embeddings[0], embeddings[1]) / (np.linalg.norm(embeddings[0]) * np.linalg.norm(embeddings[1]))
print(f'Сходство первых двух предложений: {cos_sim:.3f}')
print(f'Сходство первого и третьего: {np.dot(embeddings[0], embeddings[2]) / (np.linalg.norm(embeddings[0]) * np.linalg.norm(embeddings[2])):.3f}')
  

Сходство первых двух предложений: 0.852
Сходство первого и третьего: 0.321

Эмбеддинги можно сохранить в базу данных (FAISS, Chroma) для быстрого поиска.

Пример 4: Создание собственной рекуррентной нейросети с механизмом внимания на PyTorch.

Реализация LSTM с вниманием для классификации текстов. Код демонстрирует кастомный слой внимания.

import torch
import torch.nn as nn
import torch.nn.functional as F

class AttentionLayer(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.W = nn.Linear(hidden_dim, hidden_dim)
        self.v = nn.Linear(hidden_dim, 1, bias=False)

    def forward(self, lstm_output):
        # lstm_output: (batch, seq_len, hidden_dim*2) для bidirectional
        score = self.v(torch.tanh(self.W(lstm_output)))  # (batch, seq_len, 1)
        attn_weights = F.softmax(score, dim=1).transpose(1, 2)  # (batch, 1, seq_len)
        context = torch.bmm(attn_weights, lstm_output).squeeze(1)  # (batch, hidden_dim*2)
        return context

class TextClassifier(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, bidirectional=True, batch_first=True)
        self.attention = AttentionLayer(hidden_dim*2)
        self.fc = nn.Linear(hidden_dim*2, num_classes)

    def forward(self, x):
        embedded = self.embedding(x)
        lstm_out, _ = self.lstm(embedded)  # (batch, seq_len, hidden_dim*2)
        context = self.attention(lstm_out)
        logits = self.fc(context)
        return logits

# Пример использования
model = TextClassifier(vocab_size=5000, embed_dim=128, hidden_dim=64, num_classes=2)
dummy_input = torch.randint(0, 5000, (4, 20))  # batch=4, seq_len=20
output = model(dummy_input)
print(output.shape)  # (4, 2)
  

torch.Size([4, 2])

Такая архитектура подходит для задач, где важны отдельные части текста (например, извлечение ключевых предложений).