Детальный обзор установки кодировки UTF-8 при файловых операциях в Python

Расширенные примеры работы с UTF-8

В этом разделе показаны более сложные сценарии, включая пакетную обработку, работу с большими файлами, использование io модуля и интеграцию с внешними инструментами.

Пример 1: Чтение и запись в разных кодировках с указанием BOM

# Запись в UTF-8 с BOM
with open('with_bom.txt', 'w', encoding='utf-8-sig') as f:
    f.write('Текст с BOM')

# Чтение обратно как UTF-8
with open('with_bom.txt', 'r', encoding='utf-8-sig') as f:
    content = f.read()
print(repr(content))
# 'Текст с BOM'

'Текст с BOM'

Замечание: BOM отсутствует в прочитанных данных, так как utf-8-sig автоматически его удалил.

Пример 2: Преобразование файла из cp1251 в UTF-8

with open('input_cp1251.txt', 'r', encoding='cp1251') as f:
    text = f.read()
with open('output_utf8.txt', 'w', encoding='utf-8') as f:
    f.write(text)
print('Преобразование выполнено')

Преобразование выполнено

Пример 3: Итерация по строкам UTF-8 файла с нестандартными символами

# Предположим, файл содержит кириллицу, эмодзи и математические символы
with open('mixed.txt', 'r', encoding='utf-8') as f:
    for i, line in enumerate(f, 1):
        print(f'Строка {i}: {line.rstrip()}')

Строка 1: Привет ?
Строка 2: 2 + 2 = 4
Строка 3: ∑ (x²) ≈ 100

Пример 4: Использование io.open для явного управления кодировкой (в версиях Python 2.x)

Для совместимости с Python 2 можно использовать io.open с указанием encoding. В Python 3 open() уже поддерживает этот параметр.

import io
with io.open('legacy.txt', 'w', encoding='utf-8') as f:
    f.write('unicode text')

Пример 5: Обработка ошибок при чтении с пропуском невалидных байтов

with open('corrupted.txt', 'r', encoding='utf-8', errors='ignore') as f:
    content = f.read()
print('Прочитано без ошибок')

Прочитано без ошибок

Пример 6: Генерация файла с проверкой кодировки

import os
folder = 'utf8_files'
os.makedirs(folder, exist_ok=True)
for i in range(5):
    with open(f'{folder}/file_{i}.txt', 'w', encoding='utf-8') as f:
        f.write(f'Файл номер {i} с символом \u2714')
print('Файлы созданы')

Файлы созданы

Пример 7: Работа с двоичными режимами и декодирование вручную

with open('data.bin', 'rb') as f:
    raw = f.read()
try:
    text = raw.decode('utf-8')
except UnicodeDecodeError as e:
    print(f'Ошибка декодирования: {e}')
    # повторная попытка с заменой
    text = raw.decode('utf-8', errors='replace')

Ошибка декодирования: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
# при наличии ошибки будет выведено сообщение и выполнена замена

Пример 8: Создание файла с BOM и проверка наличия BOM

with open('bom_test.txt', 'w', encoding='utf-8-sig') as f:
    f.write('data')

with open('bom_test.txt', 'rb') as f:
    header = f.read(3)
    if header == b'\xef\xbb\xbf':
        print('Файл содержит BOM')
    else:
        print('BOM отсутствует')

Файл содержит BOM

Пример 9: Установка кодировки для стандартного ввода/вывода в консоли

import sys
# Установка stdout в UTF-8 (полезно в Windows)
if sys.platform == 'win32':
    sys.stdout.reconfigure(encoding='utf-8')
print('Использование UTF-8 для вывода')

Использование UTF-8 для вывода

Пример 10: Чтение большого файла по частям с буферизацией и правильной кодировкой

chunk_size = 1024  # байт
with open('large_file.log', 'r', encoding='utf-8', buffering=1024*1024) as f:
    while True:
        chunk = f.read(chunk_size)
        if not chunk:
            break
        # обработка chunk
        pass
print('Файл обработан')

Файл обработан