Исключение стоп-слов при обработке естественного языка

Расширенные примеры работы со стоп-словами

Пример 1: NLTK с несколькими языками и удалением пунктуации

import nltk
from nltk.corpus import stopwords
import string

nltk.download('stopwords')

# Загружаем стоп-слова для русского и английского языков
stop_words = set(stopwords.words('russian') + stopwords.words('english'))
# Добавляем пунктуацию как стоп-символы
stop_words.update(string.punctuation)

text = "Hello! Это пример текста с английскими и русскими стоп-словами, такими как: and, the, в, на."
words = text.lower().split()
filtered = [word for word in words if word not in stop_words]
print('Результат:', filtered)

Результат: ['hello!', 'пример', 'текста', 'английскими', 'русскими', 'стоп-словами,', 'такими', 'как:', 'and,', 'the,', 'в,', 'на.']

Обратите внимание: пунктуация, прикреплённая к словам (например, 'hello!'), не удалилась - для этого нужна дополнительная очистка. Пример демонстрирует объединение стоп-слов разных языков.

Пример 2: SpaCy с лемматизацией и удалением стоп-слов

import spacy

nlp = spacy.load('ru_core_news_sm')
text = "Лемматизация помогает приводить слова к начальной форме"
doc = nlp(text)
filtered_lemmas = [token.lemma_ for token in doc if not token.is_stop and not token.is_punct]
print('Леммы без стоп-слов:', filtered_lemmas)

Леммы без стоп-слов: ['лемматизация', 'помогать', 'приводить', 'слово', 'к', 'начальный', 'форма']

Здесь не только удаляются стоп-слова, но и применяется лемматизация, что особенно полезно для анализа текстов с разными грамматическими формами.

Пример 3: Использование собственного списка с регулярными выражениями

import re

custom_stop = {'очень', 'весьма', 'крайне'}
text = "Это очень интересная и весьма полезная статья"
# Удаляем стоп-слова с учётом границ слов
pattern = r'\b(?:' + '|'.join(re.escape(w) for w in custom_stop) + r')\b'
clean_text = re.sub(pattern, '', text, flags=re.IGNORECASE)
clean_text = re.sub(r'\s+', ' ', clean_text).strip()
print('Результат:', clean_text)

Результат: Это интересная и полезная статья

Регулярное выражение позволяет учитывать целые слова (границы \b) и игнорировать регистр. Однако такой подход может быть медленнее при большом списке стоп-слов.

Пример 4: Удаление стоп-слов в Pandas DataFrame

import pandas as pd
from nltk.corpus import stopwords

stop_words = set(stopwords.words('russian'))
df = pd.DataFrame({'text': ['в этом предложении есть стоп-слова', 'другой пример без стоп']})

def remove_stopwords(text):
    return ' '.join([word for word in text.lower().split() if word not in stop_words])

df['cleaned'] = df['text'].apply(remove_stopwords)
print(df)

                 text              cleaned
0  в этом предложении есть стоп-слова  предложении стоп-слова
1           другой пример без стоп       другой пример стоп

Метод apply применяет функцию очистки к каждому тексту в колонке. Это удобно для предобработки данных перед машинным обучением.

Пример 5: Оптимизация с использованием frozenset и генераторов

import nltk
from nltk.corpus import stopwords

nltk.download('stopwords')
stop_words = frozenset(stopwords.words('russian'))  # неизменяемое множество для потенциального хеширования
text = "оптимизация множества позволяет быстрее проверять вхождение"
filtered_gen = (word for word in text.lower().split() if word not in stop_words)
result = ' '.join(filtered_gen)
print('Результат:', result)

Результат: оптимизация множества позволяет быстрее проверять вхождение

Использование генератора вместо списка экономит память, а frozenset гарантирует неизменность набора стоп-слов.