Выбор подходящей библиотеки для обработки естественного языка в Python

Расширенные примеры использования библиотек NLP

spaCy: создание кастомного компонента для извлечения email-адресов

Можно добавить собственное правило в пайплайн spaCy. Ниже показано, как написать компонент, который ищет email с помощью регулярного выражения и добавляет их как сущности.

import spacy
from spacy.tokens import Span
import re

class EmailMatcher:
    name = "email_matcher"
    def __init__(self, nlp):
        self.pattern = re.compile(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}")
    def __call__(self, doc):
        matches = self.pattern.finditer(doc.text)
        entities = []
        for match in matches:
            start, end = match.start(), match.end()
            span = doc.char_span(start, end, label="EMAIL")
            if span is not None:
                entities.append(span)
        doc.entities = lists.merge_entities(doc, entities)
        return doc

nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(EmailMatcher(nlp), after="ner")
doc = nlp("Contact support@example.com for help.")
print([(ent.text, ent.label_) for ent in doc.ents])

[('support@example.com', 'EMAIL')]

Пояснение: компонент использует doc.char_span для создания временного span и добавляет его в список сущностей. Важно корректно обрабатывать пересечения с существующими сущностями.

Transformers: fine-tuning DistilBERT для классификации текстов

Тонкая настройка предобученной модели на небольшом наборе данных. Используем библиотеку transformers и datasets.

from transformers import DistilBertTokenizer, DistilBertForSequenceClassification, Trainer, TrainingArguments
from datasets import Dataset
import torch

# Создаём простой датасет
texts = ["I love this course", "This is terrible", "It's okay"]
labels = [2, 0, 1]  # 0=negative, 1=neutral, 2=positive
dataset = Dataset.from_dict({"text": texts, "label": labels})

tokenizer = DistilBertTokenizer.from_pretrained("distilbert-base-uncased")
def tokenize(batch):
    return tokenizer(batch["text"], padding=True, truncation=True)
dataset = dataset.map(tokenize, batched=True)

model = DistilBertForSequenceClassification.from_pretrained(
    "distilbert-base-uncased", num_labels=3
)

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=2,
    logging_steps=1,
)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

# Сохранение модели
model.save_pretrained("./my_finetuned_distilbert")
tokenizer.save_pretrained("./my_finetuned_distilbert")

Результатом будет обученная модель, которую можно загрузить и использовать для предсказаний. Важно: для реальных задач потребуется больше данных и валидация.

Gensim: визуализация тем с помощью pyLDAvis

После построения LDA-модели можно интерактивно изучить темы с помощью pyLDAvis.

import gensim
from gensim import corpora
from gensim.models import LdaModel
import pyLDAvis.gensim_models as gensimvis
import pyLDAvis

# Допустим, уже есть corpus и dictionary (как в предыдущем примере)
lda = LdaModel(corpus, num_topics=5, id2word=dictionary)
vis_data = gensimvis.prepare(lda, corpus, dictionary)
pyLDAvis.display(vis_data)  # откроется интерактивная панель в браузере
# Сохранение в HTML
pyLDAvis.save_html(vis_data, "lda_vis.html")

Это позволяет визуально оценить релевантность слов темам и взаимное расположение тем.