Освоение кодировок UTF в Python: практические решения

Расширенные примеры работы с кодировками UTF

Пример 1: Чтение и запись с явной обработкой ошибок

# Запись строки с эмодзи в UTF-8 с заменой ошибок (на случай, если не поддерживается цель)
text = 'Привет! ?'
with open('emojis.txt', 'w', encoding='utf-8', errors='xmlcharrefreplace') as f:
    f.write(text)

# Чтение с игнорированием невалидных байтов
with open('emojis.txt', 'r', encoding='utf-8', errors='ignore') as f:
    data = f.read()
print(data)

Привет! ?

Пример 2: Работа с UTF-16 и управление BOM

import codecs

# Запись UTF-16 с BOM
with open('utf16_file.txt', 'w', encoding='utf-16') as f:
    f.write('Пример')

# Чтение и явное указание порядка байтов
with open('utf16_file.txt', 'rb') as f:
    raw = f.read()
    # если файл начинается с BOM, декодируем как utf-16
    if raw.startswith(codecs.BOM_UTF16_LE):
        print('Little-endian')
        text = raw.decode('utf-16-le')
    elif raw.startswith(codecs.BOM_UTF16_BE):
        print('Big-endian')
        text = raw.decode('utf-16-be')
    else:
        text = raw.decode('utf-16')
print(text)

Little-endian
Пример

Пример 3: Чтение файла построчно в разных кодировках

with open('example.csv', 'rb') as f:
    # Предполагаем, что первая строка может быть в CP1251, остальные в UTF-8
    first_line = f.readline()
    # Определяем кодировку по первому байту (грубо, для демонстрации)
    if first_line[0] < 128:
        encoding = 'utf-8'
    else:
        encoding = 'cp1251'
    f.seek(0)
    with open('output.txt', 'w', encoding='utf-8') as out:
        for line in f:
            decoded_line = line.decode(encoding, errors='backslashreplace')
            out.write(decoded_line)

Пояснение: на практике лучше использовать chardet или читать весь файл целиком.

Пример 4: Использование io.TextIOWrapper для обертки бинарного потока

import io

with open('data.bin', 'rb') as f:
    # Обёртываем в текстовый поток с кодировкой UTF-8
    wrapper = io.TextIOWrapper(f, encoding='utf-8', errors='replace')
    for line in wrapper:
        print(line.strip())

Пример 5: Кодирование/декодирование с использованием codecs модуля

import codecs

# Декодирование из UTF-8 с BOM (первые три байта: EF BB BF)
data = codecs.BOM_UTF8 + 'Привет'.encode('utf-8')
text = codecs.decode(data, 'utf-8-sig')
print(text)  # Привет

# Кодирование в UTF-32 с изменённым порядком байтов
big_bytes = codecs.encode('Test', 'utf-32-be')
print(big_bytes[:4])  # b'\x00\x00\x00T'

Привет
b'\x00\x00\x00T'

Пример 6: Работа с surrogateescape при восстановлении байтов из строки

import os

# Получение списка файлов в директории, где могут быть некорректные имена
for name in os.listdir('/'):
    # name - строка в кодировке файловой системы (обычно UTF-8, но может быть другой)
    # Преобразуем обратно в байты, используя ту же стратегию
    name_bytes = name.encode('utf-8', errors='surrogateescape')
    # Теперь с name_bytes можно работать как с байтовыми данными

Пример 7: Автоопределение кодировки с chardet и последующая запись в UTF-8

import chardet

# Читаем файл неизвестной кодировки
with open('unknown.txt', 'rb') as f:
    raw = f.read()
    detected = chardet.detect(raw)
    encoding = detected['encoding']
    confidence = detected['confidence']
    print(f'Обнаружена {encoding} с вероятностью {confidence}')

# Перекодируем в UTF-8
text = raw.decode(encoding, errors='replace')
with open('converted_utf8.txt', 'w', encoding='utf-8') as f:
    f.write(text)

Обнаружена windows-1251 с вероятностью 0.99

Пример 8: Кодирование строки для URL (процентное кодирование) с использованием кодировки UTF-8

from urllib.parse import quote, unquote

original = 'Привет, мир'
# quote по умолчанию использует UTF-8
encoded = quote(original, safe='')
print(encoded)  # %D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82%2C%20%D0%BC%D0%B8%D1%80
decoded = unquote(encoded)
print(decoded)  # Привет, мир

%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82%2C%20%D0%BC%D0%B8%D1%80
Привет, мир