Изучаем модуль encodings: кодирование и декодирование данных в Python

Расширенные примеры использования модуля encodings

В этом разделе рассмотрены более сложные и нестандартные сценарии.

Пример 1: Пакетное преобразование текста в разные кодировки с выводом размера

import encodings
text = "Python - отличный язык программирования"

# Перебираем несколько популярных кодировок
for enc in ['utf-8', 'cp1251', 'koi8-r', 'latin-1']:
    try:
        # Кодируем и проверяем количество байтов
        coded = text.encode(enc, errors='strict')
        print(f"{enc:10} -> {len(coded):3} байтов: {coded[:20]}...")
    except UnicodeEncodeError as e:
        print(f"{enc:10} -> Ошибка: {e.reason}")

utf-8      ->  40 байтов: b'Python \xe2\x80\x94 \xd0\xbe\xd1\x82...'
cp1251     ->  30 байтов: b'Python \x97 \xf2\xf2\xeb\xe8\xf7\xed...'
koi8-r     ->  30 байтов: b'Python \x97 \xd2\xd4\xcc\xc9\xd3\xce...'
latin-1    -> Ошибка: ordinal not in range(128)

Обратите внимание: для latin-1 возникает ошибка, так как кириллица не входит в этот диапазон.

Пример 2: Декодирование байтов с неизвестной кодировкой (детекция)

Модуль encodings не предоставляет встроенного детектора кодировок, но можно использовать его в связке с библиотекой chardet или перебором. Пример ручного поиска по списку распространённых кодировок:

import encodings

raw_bytes = b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
possible_encodings = ['utf-8', 'cp1251', 'koi8-r', 'iso8859-5']

for enc in possible_encodings:
    try:
        decoded = raw_bytes.decode(enc, errors='strict')
        print(f"{enc:10} -> {decoded}")
    except UnicodeDecodeError:
        continue

utf-8      -> Привет
cp1251     -> Привет (но может быть другой текст, здесь случайно совпало)

На практике лучше использовать сторонние детекторы, так как многие байтовые последовательности могут декодироваться в нескольких кодировках без ошибок, давая разный текст.

Пример 3: Реализация собственного кодека (простейшая кодировка XOR)

import encodings
from encodings import Codec

class XorCodec(Codec):
    def encode(self, input, errors='strict'):
        # Преобразуем строку в байты UTF-8, затем XOR с ключом 0xAA
        utf8_bytes = input.encode('utf-8')
        encoded = bytes([b ^ 0xAA for b in utf8_bytes])
        return (encoded, len(utf8_bytes))

    def decode(self, input, errors='strict'):
        # Аналогично: декодируем XOR, затем переводим в строку UTF-8
        decoded_bytes = bytes([b ^ 0xAA for b in input])
        text = decoded_bytes.decode('utf-8')
        return (text, len(decoded_bytes))

def search_function(encoding):
    if encoding == 'xor_aa':
        return XorCodec()
    return None

encodings.register(search_function)

# Использование
text = "Секрет"
encoded = text.encode('xor_aa')
print("Закодировано:", encoded)
decoded = encoded.decode('xor_aa')
print("Раскодировано:", decoded)

Закодировано: b'\x9a\xe8\xdf\xef\xdb\xe4\xdb'
Раскодировано: Секрет

Примечание: Данный кодек не регистрируется в глобальном реестре, если функция поиска не будет вызываться до использования. Для постоянной регистрации лучше использовать codecs.register.

Пример 4: Работа с BOM (Byte Order Mark) в UTF-16

import encodings

# UTF-16 добавляет BOM (0xFFFE или 0xFEFF)
text = "A"

# Явное указание порядка байтов
utf16_le = text.encode('utf-16-le')
utf16_be = text.encode('utf-16-be')
utf16 = text.encode('utf-16')  # с BOM

print("UTF-16 LE:", utf16_le.hex())
print("UTF-16 BE:", utf16_be.hex())
print("UTF-16 with BOM:", utf16.hex())

# Декодирование с BOM обычно автоматически определяет порядок байтов
decoded = utf16.decode('utf-16')
print("Декодировано:", decoded)

UTF-16 LE: 4100
UTF-16 BE: 0041
UTF-16 with BOM: fffe4100
Декодировано: A

BOM может быть проблемой при сравнении или объединении файлов. Решение - использовать 'utf-16-le' или 'utf-16-be' напрямую, когда известен порядок.

Пример 5: Использование кодировки 'utf-8-sig' для корректного чтения файлов с BOM

import encodings

# Некоторые редакторы добавляют BOM в UTF-8 (0xEF BB BF)
bom_bytes = b'\xef\xbb\xbfHello'
text1 = bom_bytes.decode('utf-8')  # OK, но BOM остаётся
print(repr(text1))  # '\ufeffHello'

# Кодировка 'utf-8-sig' автоматически убирает BOM
text2 = bom_bytes.decode('utf-8-sig')
print(repr(text2))  # 'Hello'

'\ufeffHello'
'Hello'

При записи в файл через utf-8-sig BOM добавляется, что может быть нужно для совместимости с Windows-блокнотом.