Строки с кириллицей в Python: полное руководство для разработчика

Расширенные примеры обработки русского текста

Автоматическое определение кодировки файла с русским текстом

Библиотека chardet (установка: pip install chardet) позволяет угадать кодировку по первым байтам. Пример чтения файла с неизвестной кодировкой:

import chardet

with open('unknown.txt', 'rb') as f:
    raw = f.read(10000)  # читаем начало файла
detected = chardet.detect(raw)
encoding = detected['encoding']
print(f"Определённая кодировка: {encoding}")  # например, utf-8 или windows-1251

with open('unknown.txt', 'r', encoding=encoding, errors='replace') as f:
    content = f.read()
print(content[:200])

Определённая кодировка: utf-8
Русский текст...

Регистронезависимый поиск слов с учётом буквы «ё»

Для поиска всех вариантов слова, включая разное написание «ё», используется предварительная замена в шаблоне:

import re

text = "Ёжик под ёлкой. Ежик и елку не нашел."
# Заменим в тексте все е/ё на временный маркер, чтобы оба варианта находились
# Компактнее: пишем регулярное выражение [её] с флагом IGNORECASE
pattern = r'[её]жик'
matches = re.findall(pattern, text, re.IGNORECASE)
print(matches)  # ['Ёжик', 'ёжик', 'ежик']

['Ёжик', 'ёжик', 'ежик']

Лемматизация русских слов с помощью pymorphy2

Библиотека pymorphy2 (установка: pip install pymorphy2) приводит слово к нормальной форме:

import pymorphy2

morph = pymorphy2.MorphAnalyzer()
words = ['книги', 'книгой', 'книга']
for w in words:
    p = morph.parse(w)[0]
    print(f"{w} -> {p.normal_form}")

книги -> книга
книгой -> книга
книга -> книга

Удаление стоп-слов из русского текста

Библиотека nltk содержит список русских стоп-слов. Пример фильтрации:

from nltk.corpus import stopwords
import nltk
nltk.download('stopwords')

russian_stopwords = set(stopwords.words('russian'))
text = "В лесу родилась ёлочка, в лесу она росла."
words = text.lower().split()
filtered = [w for w in words if w.strip('.,!?') not in russian_stopwords]
print(filtered)

['лесу', 'родилась', 'ёлочка', 'лесу', 'росла']

Транслитерация русских символов в латиницу

Библиотека transliterate (установка: pip install transliterate) преобразует кириллицу в латиницу по стандарту ISO 9 или другим:

from transliterate import translit

text = "Привет, мир!"
result = translit(text, reversed=True)  # reversed=True – из кириллицы в латиницу
print(result)

Privet, mir!

Извлечение предложений, содержащих определённое русское слово

Пример с использованием регулярного выражения для разделения на предложения и фильтрации:

import re

text = "Москва – столица России. В ней живёт много людей. Столица является крупным городом."
sentences = re.split(r'(?<=[.!?])\s+', text)
keyword = "столица"
filtered = [s for s in sentences if keyword in s.lower()]
print(filtered)

['Москва – столица России.', 'Столица является крупным городом.']

Обработка русского текста в CSV-файлах

Модуль csv корректно работает с Unicode, если файл открыт с указанием кодировки UTF-8. Ошибки возникают при несовпадении кодировок в заголовке и данных:

import csv

data = [['Фамилия', 'Имя'], ['Иванов', 'Иван'], ['Сидорова', 'Мария']]
with open('people.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(data)

with open('people.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        print(', '.join(row))

Фамилия, Имя
Иванов, Иван
Сидорова, Мария