UTF-8 в Python: ключевые аспекты работы с текстом

Расширенные примеры работы с кодировкой UTF-8 в Python

Автоматическое определение кодировки файла с помощью chardet

Библиотека chardet позволяет определить кодировку по образцу байтов. Пример:

import chardet

with open('unknown.txt', 'rb') as f:
    raw = f.read(10000)  # читаем первые 10 КБ
    result = chardet.detect(raw)
    print(result)   # {'encoding': 'utf-8', 'confidence': 0.99, ...}

encoding = result['encoding']
with open('unknown.txt', 'r', encoding=encoding) as f:
    content = f.read()
print(content[:100])

Вывод:
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
Первые 100 символов текста...

Обработка BOM (Byte Order Mark) в UTF-8 файлах

Некоторые редакторы добавляют BOM (последовательность \xef\xbb\xbf) в начало файла UTF-8. Python не удаляет её автоматически. Пример чтения с удалением BOM:

with open('file_with_bom.txt', 'rb') as f:
    raw = f.read()
    if raw.startswith(b'\xef\xbb\xbf'):
        raw = raw[3:]
    text = raw.decode('utf-8')
print(text)

Или с использованием модуля codecs:

import codecs

with codecs.open('file_with_bom.txt', 'r', encoding='utf-8-sig') as f:
    text = f.read()
print(text)  # BOM автоматически пропущен

Конвертация множества файлов из cp1251 в UTF-8

import os

def convert_files(src_dir, dst_dir, src_enc='cp1251', dst_enc='utf-8'):
    if not os.path.exists(dst_dir):
        os.makedirs(dst_dir)
    for filename in os.listdir(src_dir):
        if filename.endswith('.txt'):
            src_path = os.path.join(src_dir, filename)
            dst_path = os.path.join(dst_dir, filename)
            with open(src_path, 'r', encoding=src_enc) as f:
                content = f.read()
            with open(dst_path, 'w', encoding=dst_enc) as f:
                f.write(content)
    print('Конвертация завершена.')

convert_files('./source', './converted')

Работа с UTF-8 в HTTP запросах (библиотека requests)

Библиотека requests автоматически декодирует ответ сервера, предполагая кодировку из заголовка Content-Type. Если сервер передаёт UTF-8, всё корректно. Принудительная установка кодировки:

import requests

response = requests.get('https://example.com')
# Если сервер не указал кодировку, requests может определить её из содержимого
response.encoding = 'utf-8'  # принудительно
text = response.text
print(text[:200])

Использование pathlib с указанием кодировки

from pathlib import Path

file_path = Path('data.txt')
# Чтение
content = file_path.read_text(encoding='utf-8')
# Запись
file_path.write_text('Новый текст', encoding='utf-8')

Методы read_text и write_text принимают параметр encoding, что упрощает код.

Преобразование строки с неизвестной кодировкой с использованием декодера-заменителя

# Предположим, есть байты, частично повреждённые
corrupted_bytes = b'Te\x80xt'  # невалидный байт для UTF-8
text = corrupted_bytes.decode('utf-8', errors='replace')
print(repr(text))  # 'Te�xt'

# Или с игнорированием
text2 = corrupted_bytes.decode('utf-8', errors='ignore')
print(repr(text2))  # 'Text'

Работа с разными кодировками в одном скрипте с использованием метки кодировки в начале файла

# Содержимое файла first_line_enc.py:
# -*- coding: cp1251 -*-
print('Привет')  # в cp1251

Интерпретатор Python читает эту метку и декодирует исходный код в указанной кодировке. Сам скрипт должен быть сохранён в cp1251. Рекомендуется всегда использовать UTF-8 для файлов исходного кода.