Python и кодировки файлов: полное руководство по корректному файловому вводу-выводу

Расширенные примеры работы с кодировками

Пример 1. Обнаружение BOM (Byte Order Mark)

Некоторые файлы UTF-8 содержат BOM (U+FEFF) в начале. Его можно обнаружить и удалить.

import codecs

with open('utf8_bom.txt', 'rb') as f:
    raw = f.read()
    # Проверка BOM
    if raw.startswith(codecs.BOM_UTF8):
        raw = raw[len(codecs.BOM_UTF8):]
        print('BOM удалён')
    else:
        print('BOM не найден')
text = raw.decode('utf-8')

BOM удалён

Пример 2. Конвертация файла из одной кодировки в другую

Считывание из cp1251 и запись в UTF-8.

with open('input_cp1251.txt', 'r', encoding='cp1251') as f_in:
    content = f_in.read()

with open('output_utf8.txt', 'w', encoding='utf-8') as f_out:
    f_out.write(content)
print('Конвертация выполнена')

Конвертация выполнена

Пример 3. Использование decode с surrogateescape для сохранения недопустимых байтов

surrogateescape заменяет некорректные байты на суррогатные символы Unicode, которые могут быть корректно записаны обратно в ту же кодировку.

with open('mixed.txt', 'rb') as f:
    raw = f.read()
text = raw.decode('utf-8', errors='surrogateescape')
# Далее text можно редактировать и записать обратно
with open('repaired.txt', 'wb') as f:
    f.write(text.encode('utf-8', errors='surrogateescape'))
print('Файл обработан без потери недопустимых байтов')

Файл обработан без потери недопустимых байтов

Пример 4. Определение кодировки с помощью cchardet (более быстрый)

Библиотека cchardet является форком chardet с ускоренной работой на Cython.

import cchardet as chardet

with open('file.txt', 'rb') as f:
    data = f.read()
encoding = chardet.detect(data)['encoding']
print(f'Определённая кодировка: {encoding}')
# Повторное открытие с этой кодировкой
with open('file.txt', 'r', encoding=encoding, errors='replace') as f:
    print(f.read()[:50])

Определённая кодировка: UTF-8
Первые 50 символов: Привет! Это пример файла с кодировкой UTF-8.

Пример 5. Чтение больших файлов с кодировкой построчно с обработкой ошибок

При чтении больших файлов удобно обрабатывать каждую строку, чтобы избежать загрузки всего файла в память.

import chardet

# Сначала определим кодировку по первым 100 КБ
with open('large.log', 'rb') as f:
    sample = f.read(100000)
enc = chardet.detect(sample)['encoding']
print(f'Кодировка файла: {enc}')

# Чтение построчно с заменой ошибок
with open('large.log', 'r', encoding=enc, errors='replace') as f:
    for i, line in enumerate(f):
        if i > 5:  # выведем первые 6 строк
            break
        print(line.rstrip())

Кодировка файла: utf-8
Строка 1: 2025-03-15 10:00:00 INFO Запуск...
Строка 2: 2025-03-15 10:00:01 INFO Обработка данных...
Строка 3: 2025-03-15 10:00:02 WARN Обнаружена неизвестная кодировка...
Строка 4: 2025-03-15 10:00:03 ERROR Ошибка при декодировании символа...
Строка 5: 2025-03-15 10:00:04 INFO Ошибка заменена на �.
Строка 6: 2025-03-15 10:00:05 INFO Работа завершена.

Пример 6. Работа с кодировками в модуле pathlib и io

Объекты Path из pathlib также поддерживают параметр encoding. А io.open даёт дополнительные настройки буферизации.

from pathlib import Path

path = Path('data.txt')
text = path.read_text(encoding='utf-8', errors='strict')
print('Прочитано символов:', len(text))

# Запись с новой строкой
path.write_text('Добавленная строка', encoding='utf-8', errors='replace')
print('Файл обновлён')

Прочитано символов: 1200
Файл обновлён