Python: работа с кодировками. Методы, ошибки, преобразования

Как закодировать строку в ASCII, пропуская символы, которые нельзя представить?

Для кодирования в ASCII с игнорированием недопустимых символов используется errors='ignore'. Это приводит к потере информации, но позволяет избежать исключения.

rus = "Привет"
ascii_ignored = rus.encode('ascii', errors='ignore')
print(ascii_ignored)  # b'' (все символы потеряны)

Encoding python (кодировки в python)

print(rus.encode('ascii', errors='xmlcharrefreplace'))
# b'Привет'

Что делать, если декодирование байтов вызывает UnicodeDecodeError?

Если невозможно заранее узнать кодировку, можно попробовать несколько распространенных кодировок (CP1251, Latin-1, KOI8-R и т.д.) или использовать модуль chardet для автоматического определения. В качестве временного решения применяют errors='replace'.

data = b'\xd0\x9f\xd1\x80\xdd'  # последний байт некорректен для UTF-8
print(data.decode('utf-8', errors='replace'))  # Пр?  (замена на ?)

Python encode (метод encode в python)

Как правильно открыть текстовый файл в нужной кодировке?

При открытии файла в текстовом режиме следует передать аргумент encoding. Это гарантирует корректное преобразование байтов в строки и обратно.

# Запись в файл в кодировке UTF-8
with open('example.txt', 'w', encoding='utf-8') as f:
    f.write('Привет, файл!')

# Чтение файла в кодировке CP1251
with open('example.txt', 'r', encoding='cp1251') as f:
    content = f.read()  # может быть искажено, если файл в UTF-8

Codecs encode python (модуль codecs.encode в python)

Как закодировать строку или байты в Base64 и обратно?

Base64 часто используется для передачи двоичных данных через текстовые протоколы (например, в JSON или URL). Для работы с Base64 применяется модуль base64.

import base64

# Кодирование строки в Base64 (предварительно преобразуем в bytes)
text = "Python кодирование"
encoded = base64.b64encode(text.encode('utf-8'))
print(encoded)  # b'UHl0aG9uINC60L7QtNC40YDQvtCy0LDQvdC40LU='

# Декодирование
decoded_bytes = base64.b64decode(encoded)
decoded_text = decoded_bytes.decode('utf-8')
print(decoded_text)  # Python кодирование

Python encoding cp1251 (кодировка cp1251 в python)

Как закодировать строку для использования в URL?

URL может содержать только определенные символы. Для преобразования специальных символов (пробелы, кириллица, знаки) в процентно-кодированный вид применяется функция urllib.parse.quote.

from urllib.parse import quote, unquote

query = "Привет, мир!"
encoded_query = quote(query)
print(encoded_query)  # %D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82%2C%20%D0%BC%D0%B8%D1%80!

decoded_query = unquote(encoded_query)
print(decoded_query)  # Привет, мир!

Python encoding utf (кодировка utf в python)

Как преобразовать строку в шестнадцатеричное представление и обратно?

Шестнадцатеричное представление удобно для отладки, передачи двоичных данных в читаемой форме. Используется модуль binascii.

import binascii

text = "Hex test"
# Кодируем строку в bytes, затем в hex
hex_str = binascii.hexlify(text.encode('utf-8'))
print(hex_str)  # b'4865782074657374'

# Декодируем обратно
orig_bytes = binascii.unhexlify(hex_str)
print(orig_bytes.decode('utf-8'))  # Hex test

Unicode символ python (unicode символ в python)

Как узнать, в какой кодировке закодирован файл или строка?

Для автоматического определения кодировки используется сторонняя библиотека chardet. Она анализирует байты и выдает предполагаемую кодировку с уровнем уверенности.

import chardet

data = b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
result = chardet.detect(data)
print(result)  # {'encoding': 'utf-8', 'confidence': 0.99, ...}

# Декодируем с обнаруженной кодировкой
encoding = result['encoding']
print(data.decode(encoding))  # Привет

Python coding utf (кодировка utf-8 в python)

Как привести строку к стандартной форме нормализации Unicode?

Unicode допускает несколько представлений одного и того же символа (например, символ 'é' может быть одним кодом или комбинацией 'e' + диакритический знак). Нормализация (NFC, NFD, NFKC, NFKD) приводит строку к единой форме. Это важно для сравнения строк и поиска.

import unicodedata

s1 = '\u00e9'  # é в форме NFC
s2 = 'e\u0301'  # e + ударение в форме NFD

print(s1, s2)  # é é (визуально одинаково)
print(s1 == s2)  # False

# Приводим к NFC
normalized = unicodedata.normalize('NFC', s2)
print(normalized == s1)  # True