Практические методики анализа текстовых данных с помощью Python

Пример 1: Извлечение именованных сущностей (NER) с spaCy

NER позволяет находить в тексте имена людей, названия организаций, географические объекты и другие сущности. Модель ru_core_news_sm распознаёт несколько типов сущностей.

import spacy

nlp = spacy.load('ru_core_news_sm')
text = "Вчера в Москве состоялась встреча президента России и президента Франции Эммануэля Макрона."
doc = nlp(text)

print("Обнаруженные сущности:")
for ent in doc.ents:
    print(f"{ent.text} ({ent.label_})")

Обнаруженные сущности:
Москве (LOC)
России (LOC)
Франции (LOC)
Эммануэля Макрона (PER)

Типы сущностей: LOC – местоположение, PER – персона, ORG – организация, DATE – дата и др. Полный список доступен в документации spaCy.

Пример 2: Облако слов с маской изображения

Для создания облака в форме произвольного контура используется маска – чёрно-белое изображение, где белые области заполняются словами.

from wordcloud import WordCloud
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt

# загрузите маску (например, контур сердца)
mask = np.array(Image.open('heart_mask.png'))

# из предыдущего анализа имеем freq – словарь частот
wc = WordCloud(mask=mask, background_color='white', contour_color='darkred', contour_width=1)
wc.generate_from_frequencies(freq)

plt.figure(figsize=(6,6))
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()

Результат – облако слов в форме сердца. Маску можно подготовить в любом графическом редакторе или найти готовые шаблоны.

Пример 3: Сравнение частотности лемм в двух документах

Полезно для анализа различий между текстами, например, двух книг или новостных статей.

import spacy
from collections import Counter

def get_lemm_freq(filepath):
    nlp = spacy.load('ru_core_news_sm')
    with open(filepath, 'r', encoding='utf-8') as f:
        text = f.read()
    doc = nlp(text)
    tokens = [token.lemma_.lower() for token in doc if token.is_alpha and not token.is_stop]
    return Counter(tokens)

freq1 = get_lemm_freq('text1.txt')
freq2 = get_lemm_freq('text2.txt')

# общие слова, отсортированные по сумме частот
common_words = set(freq1.keys()) & set(freq2.keys())
sorted_common = sorted(common_words, key=lambda w: freq1[w]+freq2[w], reverse=True)[:10]

print("Топ-10 общих лемм (по суммарной частоте):")
for w in sorted_common:
    print(f"{w}: doc1={freq1[w]}, doc2={freq2[w]}")

Топ-10 общих лемм (по суммарной частоте):
сказать: doc1=45, doc2=32
делать: doc1=30, doc2=28
…

Пример 4: Частотный анализ биграмм (словосочетаний из двух слов)

Биграммы помогают выявить устойчивые выражения и коллокации. Реализация на основе spaCy и Counter.

import spacy
from collections import Counter

nlp = spacy.load('ru_core_news_sm')
text = "Москва является столицей России. Санкт-Петербург считается культурной столицей."
doc = nlp(text)

# извлекаем только слова (без знаков препинания)
tokens = [token.text.lower() for token in doc if token.is_alpha]

# формируем биграммы
bigrams = [f"{tokens[i]} {tokens[i+1]}" for i in range(len(tokens)-1)]
bigram_freq = Counter(bigrams)

print("Наиболее частые биграммы:")
for bg, cnt in bigram_freq.most_common(5):
    print(f"{bg}: {cnt}")

Наиболее частые биграммы:
является столицей: 1
столицей россии: 1
санкт-петербург считается: 1
считается культурной: 1
культурной столицей: 1

Для более содержательных результатов стоит удалять стоп-слова перед формированием биграмм, иначе частыми будут пары типа «в Москве», «на улице».

Пример 5: Анализ тональности с помощью готовой модели RuSentiment

RuSentiment – предобученная модель для русского языка на основе логистической регрессии. Используется библиотека dostoevsky.

# установка: pip install dostoevsky
from dostoevsky.tokenization import RegexTokenizer
from dostoevsky.models import FastTextSocialNetworkModel

tokenizer = RegexTokenizer()
model = FastTextSocialNetworkModel(tokenizer=tokenizer)

messages = [
    "Этот фильм просто замечательный! Очень понравился.",
    "Отвратительное обслуживание, больше не приду."
]

results = model.predict(messages, k=2)
for message, sentiment in zip(messages, results):
    print(f"Текст: {message}")
    print(f"Тональность: {sentiment}")  # {'positive': 0.98, 'negative': 0.02}

Текст: Этот фильм просто замечательный! Очень понравился.
Тональность: {'positive': 0.98, 'negative': 0.02}
Текст: Отвратительное обслуживание, больше не приду.
Тональность: {'positive': 0.01, 'negative': 0.99}

Модель возвращает вероятности для положительной и отрицательной тональности. Для использования убедитесь, что загружены данные (python -m dostoevsky download fasttext-social-network-model).