Python encode: руководство по кодированию символов в байтовые строки

Дополнительные примеры с различными кодировками и комбинациями параметров

# Пример 1: кодирование в KOI8-R с заменой неизвестных символов
text = "Съешь ещё этих мягких французских булок, да выпей чаю."
try:
    koi8 = text.encode('koi8-r', errors='replace')
    print("KOI8-R (replace):", koi8)
    # Вывод: b'\xf3\xd9\xc5\xd7\x8c \xc5\xd9\xd1\xc5 \xd4\xdb\xd8 \xcd\xd1\xc7\xcb\xc9\xd8 \xd4\xd2\xc1\xce\xd3\xd5\xda\xda\xcb\xc9\xd8 \xc2\xd5\xcc\xcf\xcb, \xc4\xc1 \xd7\xeb\xd0\xc5\xd9 \xd7\xc1\xde.'
except UnicodeEncodeError as e:
    print("Ошибка:", e)

# Пример 2: кодирование в Latin-1 (ISO 8859-1) с backslashreplace
text2 = "Hölderlin - Café"
latin1 = text2.encode('latin-1', errors='backslashreplace')
print("Latin-1 (backslashreplace):", latin1)
# Вывод: b'H\xf6lderlin \u2014 Caf\xe9' (символ - (U+2014) заменён на \u2014, остальные нет)

# Пример 3: кодирование в UTF-32
unicode_text = "Python"
utf32 = unicode_text.encode('utf-32')
print("UTF-32:", utf32)  # b'\xff\xfe\x00\x00P\x00\x00\x00y\x00\x00\x00t\x00\x00\x00h\x00\x00\x00o\x00\x00\x00n\x00\x00\x00'

# Пример 4: кодирование в UTF-8 и обратное декодирование с проверкой
original = "Привет, мир!"
encoded = original.encode('utf-8')
decoded = encoded.decode('utf-8')
print("Original == Decoded:", original == decoded)  # True

# Пример 5: кодирование с ошибками strict (по умолчанию) – вызовет исключение
text4 = "Euro symbol: €"
try:
    text4.encode('ascii', errors='strict')  # или просто .encode('ascii')
except UnicodeEncodeError as e:
    print("UnicodeEncodeError при strict:", e)

# Пример 6: кодирование в CP1252 с заменой (windows-1252)
text5 = "À propos de..."
cp1252 = text5.encode('cp1252')
print("CP1252:", cp1252)  # b'\xc0 propos de...'  (À - 0xC0)

# Пример 7: комбинирование кодировок – получить байты в разных кодировках для одной строки
text6 = "A"
print("UTF-8:", text6.encode('utf-8'))       # b'A'
print("UTF-16:", text6.encode('utf-16'))     # b'\xff\xfeA\x00'
print("UTF-32:", text6.encode('utf-32'))     # b'\xff\xfe\x00\x00A\x00\x00\x00'

Результат выполнения (примерные выводы, зависят от среды):
KOI8-R (replace): b'\xf3\xd9\xc5\xd7\x8c \xc5\xd9\xd1\xc5 \xd4\xdb\xd8 \xcd\xd1\xc7\xcb\xc9\xd8 \xd4\xd2\xc1\xce\xd3\xd5\xda\xda\xcb\xc9\xd8 \xc2\xd5\xcc\xcf\xcb, \xc4\xc1 \xd7\xeb\xd0\xc5\xd9 \xd7\xc1\xde.'
Latin-1 (backslashreplace): b'H\xf6lderlin \u2014 Caf\xe9'
UTF-32: b'\xff\xfe\x00\x00P\x00\x00\x00y\x00\x00\x00t\x00\x00\x00h\x00\x00\x00o\x00\x00\x00n\x00\x00\x00'
Original == Decoded: True
UnicodeEncodeError при strict: 'ascii' codec can't encode character '\u20ac' in position 14: ordinal not in range(128)
CP1252: b'\xc0 propos de...'
UTF-8: b'A'
UTF-16: b'\xff\xfeA\x00'
UTF-32: b'\xff\xfe\x00\x00A\x00\x00\x00'

Примечание: при работе с кодировками, не поддерживающими определённые символы, всегда следует учитывать возможную потерю данных. Выбор подходящего режима обработки ошибок зависит от конечного использования: логирование, передача, хранение, отладка.

# Нестандартный пример: использование surrogateescape для обхода невалидных байтов
# Допустим, есть байты с последовательностью, не являющейся UTF-8
bad_bytes = b'\xff\xfe\x80'
try:
    # Декодирование с surrogateescape сохраняет байты как суррогаты
    surrogate_str = bad_bytes.decode('utf-8', errors='surrogateescape')
    print("Surrogate string:", surrogate_str)
    # Теперь закодируем обратно - получим исходные байты
    recovered_bytes = surrogate_str.encode('utf-8', errors='surrogateescape')
    print("Recovered:", recovered_bytes)
    print("Equal:", bad_bytes == recovered_bytes)  # True
except Exception as e:
    print("Error:", e)

Вывод (примерный):
Surrogate string: \udcff\udcfe\udc80
Recovered: b'\xff\xfe\x80'
Equal: True

Такой приём позволяет временно хранить бинарные данные в строковом типе, но требует осторожности и явного преобразования обратно. Не рекомендуется для длительного хранения или передачи без контроля.