Кодирование строк: основы и практика

Как обработать ошибки кодирования при несовместимых символах?

Если строка содержит символы, которые нельзя представить в целевой кодировке (например, кириллица в кодировке ASCII), возникает исключение UnicodeEncodeError. Чтобы избежать аварийного завершения, можно использовать параметр errors:

• 'strict' (по умолчанию) - генерирует исключение.
• 'replace' - заменяет неподдерживаемый символ на '?' (или другой заменяющий символ).
• 'ignore' - игнорирует проблемные символы.
• 'backslashreplace' - заменяет символы на управляющие последовательности \x, \u и т.д.
• 'surrogateescape' - сохраняет некорректные байты как суррогатные символы (полезно при работе с повреждёнными данными).

text = "Привет 123"
try:
    text.encode('ascii')  # ошибка
except UnicodeEncodeError as e:
    print(f"Ошибка: {e}")
print(text.encode('ascii', errors='replace'))  # b'?????? 123'
print(text.encode('ascii', errors='ignore'))   # b' 123'
print(text.encode('ascii', errors='backslashreplace'))  # b'\u041f\u0440\u0438\u0432\u0435\u0442 123'

Encoding python (кодировки в python)

Ошибка: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)
b'?????? 123'
b' 123'
b'\u041f\u0440\u0438\u0432\u0435\u0442 123'

Python 2 encoding (кодировки в python 2)

Как правильно открыть файл с нестандартной кодировкой?

При чтении или записи текстовых файлов следует указывать параметр encoding в функции open(). Если encoding не указан, используется системная кодировка (обычно UTF-8, но может быть cp1251 на Windows).

# запись в UTF-8
with open('output.txt', 'w', encoding='utf-8') as f:
    f.write('Привет')

# чтение из файла в cp1251 (Windows Cyrillic)
with open('input.txt', 'r', encoding='cp1251') as f:
    data = f.read()
    print(data)

Python encode (метод encode в python)

Для файлов с BOM (Byte Order Mark) в кодировках UTF-16 или UTF-8 с BOM можно использовать utf-8-sig (автоматически обрабатывает BOM).

# файл с BOM
with open('utf8_bom.txt', 'r', encoding='utf-8-sig') as f:
    content = f.read()  # BOM будет удалён

Codecs encode python (модуль codecs.encode в python)

Как определить неизвестную кодировку текста?

Если кодировка неизвестна, можно использовать стороннюю библиотеку chardet или попытаться декодировать с разными кодировками и проанализировать результат.

# установка: pip install chardet
import chardet

raw_bytes = b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
result = chardet.detect(raw_bytes)
print(result)  # {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

# декодирование с определённой кодировкой
if result['confidence'] > 0.5:
    text = raw_bytes.decode(result['encoding'])
    print(text)

Python encoding cp1251 (кодировка cp1251 в python)

{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
Привет

Python encoding utf (кодировка utf в python)

Для простых случаев можно использовать перебор популярных кодировок:

def try_decode(data):
    for enc in ['utf-8', 'cp1251', 'koi8-r', 'latin-1']:
        try:
            return data.decode(enc)
        except UnicodeDecodeError:
            continue
    return None

Unicode символ python (unicode символ в python)

Как работать с последовательностями байт, содержащими повреждённые данные?

При получении данных из внешних источников возможны битые байты. Стратегия surrogateescape позволяет сохранить невалидные байты как суррогатные символы, чтобы позже восстановить исходные байты.

# данные, содержащие невалидный байт для UTF-8 (например, 0xFF)
bad_bytes = b'hello\xffworld'
try:
    bad_bytes.decode('utf-8')  # ошибка
except UnicodeDecodeError as e:
    print(e)

# используем surrogateescape
decoded = bad_bytes.decode('utf-8', errors='surrogateescape')
print(repr(decoded))  # 'hello\udcffworld'

# обратное преобразование: сохранить исходные байты
original = decoded.encode('utf-8', errors='surrogateescape')
print(original)  # b'hello\xffworld'

Python coding utf (кодировка utf-8 в python)

'utf-8' codec can't decode byte 0xff in position 5: invalid start byte
'hello\udcffworld'
b'hello\xffworld'