Текстовые кодировки в языке Python: работа и преобразование

Раздел: Текст -> Работа с кодировками

Основные принципы работы с кодировками

В Python 3 строки (str) хранятся в Unicode, а закодированные данные представляются в виде байтов (bytes). Наиболее эффективный подход - всегда указывать кодировку при чтении и записи данных, используя UTF-8 как универсальный стандарт. Пример открытия файла с явным указанием кодировки:

with open('file.txt', 'r', encoding='utf-8') as f:
    text = f.read()

Python кодировка (кодировка текста в python)

Этот способ устраняет большинство проблем с кодировками, так как Python не делает предположений о системной кодировке. Если данные приходят из внешнего источника, их следует сначала декодировать в строку, а затем обрабатывать. Для вывода используйте encode() с нужной кодировкой.

Типичные ошибки:

  • UnicodeDecodeError - попытка декодировать байты с неверной кодировкой.
  • UnicodeEncodeError - попытка закодировать строку с символами, отсутствующими в целевой кодировке.
  • Смешение str и bytes (например, конкатенация) вызывает TypeError.

Решение: всегда обрабатывать данные в одной фазе (str) и указывать кодировку при переходе к bytes.

Как преобразовать строку из одной кодировки в другую?

Сначала байты декодируются в строку (Unicode), затем строка кодируется в нужную кодировку. Пример: из CP1251 в UTF-8.

data = b'\xc0\xe0\xe8\xf1\xff'  # байты в CP1251
text = data.decode('cp1251')        # в Unicode
utf8_bytes = text.encode('utf-8')   # в UTF-8

Если кодировка исходных байтов неизвестна, необходимо определить её (см. ниже).

Как избежать ошибок при декодировании данных?

Укажите параметр errors со значением 'ignore' (пропустить нечитаемые символы) или 'replace' (заменить на знак вопроса).

text = data.decode('utf-8', errors='replace')

Для сохранения целостности байтов при обработке ошибок используйте errors='surrogateescape' (восстанавливает исходные байты при обратном кодировании).

Важно: errors='ignore' может потерять данные; используйте осознанно.

Как определить кодировку неизвестного текста?

Примените модуль chardet, который анализирует байты и выдаёт наиболее вероятную кодировку.

import chardet
result = chardet.detect(raw_bytes)
encoding = result['encoding']
text = raw_bytes.decode(encoding)

Установка: pip install chardet. Модуль полезен при обработке файлов с неизвестной кодировкой или текстов из сети.

Возможна низкая уверенность (confidence < 0.5). В таких случаях применяйте несколько эвристик или укажите кодировку вручную.

Как работать с файлами, кодировка которых отличается от UTF-8?

Укажите соответствующую кодировку в параметре encoding функции open(). Например, для Windows-1251:

with open('data.txt', 'r', encoding='cp1251') as f:
    text = f.read()

Для записи аналогично: open('out.txt', 'w', encoding='utf-8'). Если файл имеет BOM (Byte Order Mark) для UTF-16, используйте модуль codecs.

Неправильная кодировка при чтении приводит к UnicodeDecodeError или искажению текста (кракозябры).

Как правильно обрабатывать текст из сети (HTTP-ответы)?

Библиотека requests автоматически определяет кодировку из заголовка Content-Type и декодирует в response.text. Если нужно вручную:

import requests
r = requests.get('http://example.com')
# Доступ к сырым байтам
raw = r.content
# Определение кодировки
encoding = r.apparent_encoding or 'utf-8'
text = raw.decode(encoding, errors='replace')

Атрибут apparent_encoding использует chardet внутри.

Если сервер не указывает кодировку, возможны ошибки декодирования. Рекомендуется явно указывать кодировку или использовать errors='replace'.

Расширенные примеры работы с кодировками

Ниже приведены подробные примеры с кодом и результатом выполнения.

Пример 1: Преобразование между CP1251 и UTF-8 с обработкой ошибок

Код:

Пример 
# байты в CP1251 (слово "Мария")
data = b'\xc0\xe0\xe8\xf1\xff'
try:
    text = data.decode('cp1251')
    print(text)
    utf8_bytes = text.encode('utf-8')
    print(utf8_bytes)
except UnicodeDecodeError as e:
    print('Ошибка декодирования:', e)

Результат:

Мария
b'\xd0\x9c\xd0\xb0\xd1\x80\xd0\xb8\xd1\x8f'

Пример 2: Определение кодировки с помощью chardet

Код:

Пример 
import chardet
data = b'\xcf\xe8\xf2\xee\xed'  # "Питон" в CP1251
result = chardet.detect(data)
print(result)
text = data.decode(result['encoding'])
print(text)

Результат:

{'encoding': 'windows-1251', 'confidence': 0.99, 'language': 'Russian'}
Питон

Пример 3: Чтение файла с неизвестной кодировкой и chardet

Код:

Пример 
import chardet
file_path = 'unknown.txt'
with open(file_path, 'rb') as f:
    raw = f.read()
encoding = chardet.detect(raw)['encoding']
text = raw.decode(encoding, errors='replace')
print('Определена кодировка:', encoding)
print(text[:100])  # первые 100 символов

Результат (пример, зависит от файла):

Определена кодировка: utf-8
Это пример текста в UTF-8...

Пример 4: Использование surrogateescape для сохранения некорректных байтов

Код:

Пример 
import os
data = b'\xff\xfe\x00\x41'  # неверная последовательность UTF-8
text = data.decode('utf-8', errors='surrogateescape')
print('Текст с surrogateescape:', repr(text))
# Восстановление исходных байтов
back = text.encode('utf-8', errors='surrogateescape')
print('Восстановление:', back == data)

Результат:

Текст с surrogateescape: '\udcff\udcfe\udc00A'
Восстановление: True

Пример 5: Работа с UTF-16 файлом через codecs

Код:

Пример 
import codecs
# создадим файл с BOM
with open('test_utf16.txt', 'w', encoding='utf-16') as f:
    f.write('Привет, мир!')
# чтение с codecs.open (автоматически обрабатывает BOM)
with codecs.open('test_utf16.txt', 'r', encoding='utf-16') as f:
    text = f.read()
print(text)
# очистка
os.remove('test_utf16.txt')

Результат:

Привет, мир!

Пример 6: Обработка HTTP-ответа с неизвестной кодировкой

Код:

Пример 
import requests
r = requests.get('http://httpbin.org/encoding/utf8')
# используем content и apparent_encoding
raw = r.content
encoding = r.apparent_encoding if r.apparent_encoding else 'utf-8'
text = raw.decode(encoding, errors='replace')
print('Кодировка по данным:', encoding)
print(text[:150])

Результат (пример):

Кодировка по данным: utf-8
{
  "origin": "123.45.67.89"
}
...

Кодировка текста в Python - comments

En
Python кодировка (python)