Как справиться с ошибкой декодирования в Python

Как автоматически определить кодировку файла и избежать ошибки?

Для автоматического определения кодировки можно использовать библиотеку chardet. Она анализирует байтовый поток и выдаёт наиболее вероятную кодировку. Это особенно полезно при работе с файлами от пользователей или скачанными из интернета.

import chardet

with open('unknown.txt', 'rb') as f:
    raw = f.read()
result = chardet.detect(raw)
encoding = result['encoding']
confidence = result['confidence']
print(f'Detected encoding: {encoding} with confidence {confidence}')

with open('unknown.txt', 'r', encoding=encoding, errors='replace') as f:
    text = f.read()
print(text[:200])

После определения кодировки файл открывается с ней. errors='replace' добавляется как страховка на случай, если chardet ошибся.

Как декодировать байты с сохранением нечитаемых символов?

Параметр errors='surrogateescape' кодирует нечитаемые байты в суррогатные символы, которые затем могут быть корректно записаны обратно в байты при перекодировании. Это позволяет сохранить все исходные байты без потерь.

byte_data = b'\xff\xfe\x00\x41'
try:
    text = byte_data.decode('utf-8')
except UnicodeDecodeError as e:
    print(f'Decoding error: {e}')
    text = byte_data.decode('utf-8', errors='surrogateescape')
    print(f'Decoded with surrogateescape: {repr(text)}')
    # обратное преобразование
    recovered = text.encode('utf-8', errors='surrogateescape')
    print(f'Recovered bytes: {recovered}')

Здесь исходные байты, не являющиеся корректным UTF-8, отображаются на специальные суррогатные кодовые точки (от U+DC80 до U+DCFF). При записи обратно с тем же surrogateescape восстанавливаются исходные байты.

Как игнорировать нечитаемые байты при декодировании?

Установка errors='ignore' полностью удаляет все байты, которые не могут быть декодированы в целевой кодировке. Это самый простой способ избежать исключения, но информация безвозвратно теряется.

raw = b'Hello \xff World!
text = raw.decode('utf-8', errors='ignore')
print(text)  # Вывод: Hello  World! (байт 0xff удалён)

Этот подход уместен, когда несущественные символы не являются критичными, например при логгировании или фильтрации текстовых данных.

Как заменить нечитаемые символы на знак вопроса?

Параметр errors='replace' заменяет каждый неподходящий байт на символ замены (обычно вопросительный знак �). Это сохраняет длину строки, но не восстанавливает исходный символ.

data = b'\xe2\x82\xac'  # это корректный UTF-8 для '€'
broken = b'\xe2\x82'   # неполный байт
result = broken.decode('utf-8', errors='replace')
print(result)  # Вывод: � (символ замены)

Как обработать ошибку декодирования при ручном вызове .decode()?

Метод bytes.decode() принимает те же параметры encoding и errors.

b = b'\xff\xfe'
try:
    s = b.decode('utf-8')
except UnicodeDecodeError:
    s = b.decode('latin-1')  # latin-1 может декодировать любой байт
print(s)  # Вывод: ÿþ (символы, соответствующие байтам)

Также можно комбинировать различные стратегии: сначала попробовать одну кодировку, затем другую.

Как избежать ошибок декодирования при загрузке JSON или CSV?

Библиотеки для работы с JSON и CSV также опираются на файловые объекты, поэтому нужно задавать кодировку при открытии файла.

import json
with open('data.json', 'r', encoding='utf-8', errors='replace') as f:
    obj = json.load(f)

import csv
with open('data.csv', 'r', encoding='utf-8-sig', errors='replace') as f:  # utf-8-sig для BOM
    reader = csv.reader(f)
    for row in reader:
        print(row)

Для Pandas: pd.read_csv('file.csv', encoding='cp1251', errors='replace').