Метод мешка слов в задачах обработки естественного языка

Пример 1. Использование n-грамм в CountVectorizer

По умолчанию BoW учитывает только униграммы. Для захвата контекста добавляют биграммы и триграммы.

from sklearn.feature_extraction.text import CountVectorizer
docs = ['не очень хороший', 'очень хороший', 'плохой']
vectorizer = CountVectorizer(ngram_range=(1,2))
X = vectorizer.fit_transform(docs)
print(X.toarray())
print(vectorizer.get_feature_names_out())

[[1 0 1 0 0 1]
 [0 1 0 1 1 0]
 [0 0 0 0 0 1]]
['не' 'очень' 'не очень' 'очень хороший' 'хороший' 'плохой']

Параметр ngram_range=(1,2) добавляет все пары слов подряд. Размерность растет, возможно переобучение. Рекомендуется ограничивать max_features.

Пример 2. Совместное использование TfidfVectorizer для взвешивания терминов

TfidfVectorizer развивает идею BoW, уменьшая влияние частых слов и выделяя редкие.

from sklearn.feature_extraction.text import TfidfVectorizer
docs = ['кот и собака', 'собака и кошка', 'кот']
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(docs)
print(X.toarray().round(2))
print(vectorizer.get_feature_names_out())

[[0.   0.58 0.   0.58 0.58]
 [0.   0.   0.58 0.58 0.58]
 [0.   0.   0.   0.   1.  ]]
['и', 'кошка', 'кот', 'собака', 'язык']

Значения TF-IDF, а не просто частоты. Используется в большинстве NLP задач вместо чистого BoW.

Пример 3. Обработка стоп-слов и лемматизация перед BoW

Предобработка текста улучшает качество. Используем nltk для лемматизации.

import nltk
from nltk.stem import WordNetLemmatizer
from nltk.corpus import stopwords
from sklearn.feature_extraction.text import CountVectorizer
nltk.download('wordnet', quiet=True)
nltk.download('stopwords', quiet=True)

lemmatizer = WordNetLemmatizer()
stop_words = set(stopwords.words('russian'))

def preprocess(text):
    tokens = text.lower().split()
    tokens = [lemmatizer.lemmatize(t) for t in tokens if t not in stop_words]
    return ' '.join(tokens)

docs = ['Кошки и собаки бегают', 'Собака бегает быстро']
processed = [preprocess(d) for d in docs]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(processed)
print(X.toarray())
print(vectorizer.get_feature_names_out())

[[1 1 1 0]
 [0 1 0 1]]
['бегать', 'кошка', 'собака', 'быстро']

Лемматизация приводит слова к нормальной форме, уменьшая размерность словаря.

Пример 4. Визуализация BoW матрицы в виде тепловой карты

Полезна для анализа разреженности и частот.

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.feature_extraction.text import CountVectorizer

docs = ['текст первый', 'второй текст', 'третий текст пример']
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(docs)
df = pd.DataFrame(X.toarray(), columns=vectorizer.get_feature_names_out())
plt.figure(figsize=(8,4))
sns.heatmap(df, annot=True, cmap='Blues')
plt.title('Bag of Words матрица')
plt.show()

[изображение не отображается, но в коде срабатывает]

Требуется установка matplotlib и seaborn. Позволяет визуально оценить распределение слов.

Пример 5. Работа с большими текстами: использование разреженных матриц и HashingVectorizer

HashingVectorizer не сохраняет словарь, что экономит память и подходит для потоковых данных.

from sklearn.feature_extraction.text import HashingVectorizer
import numpy as np

docs = ['пример текста для хеширования'] * 1000
vectorizer = HashingVectorizer(n_features=100, norm=None, alternate_sign=False)
X = vectorizer.fit_transform(docs)
print(X.shape)
print(type(X))

(1000, 100)

Хеширование уменьшает размерность, но возможны коллизии (разные слова попадают в одну колонку). Параметр n_features контролирует компромисс.

Пример 6. Создание пайплайна с CountVectorizer и классификатором

Интеграция BoW в типовой ML пайплайн.

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_20newsgroups

categories = ['alt.atheism', 'soc.religion.christian']
news = fetch_20newsgroups(subset='all', categories=categories, shuffle=True, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.2, random_state=42)

pipeline = Pipeline([
    ('vect', CountVectorizer()),
    ('clf', LogisticRegression(max_iter=1000))
])
pipeline.fit(X_train, y_train)
accuracy = pipeline.score(X_test, y_test)
print(f'Точность: {accuracy:.3f}')

Точность: 0.956

Pайплайн упрощает настройку и предотвращает утечку данных. Можно заменить CountVectorizer на TfidfVectorizer.