Работа с бинарными данными файлов в Python: от основ до продвинутых техник

Продвинутые примеры работы с байтами файлов

Чтение магического числа файла

Многие форматы (PNG, PDF) имеют сигнатуру - первые несколько байт. Следующий код проверяет, является ли файл PNG.

import os

filename = 'example.png'
with open(filename, 'rb') as f:
    magic = f.read(8)

if magic == b'\x89PNG\r\n\x1a\n':
    print('Это PNG файл')
else:
    print('Неизвестный формат')

Это PNG файл

Использование struct для упаковки и распаковки бинарных данных

Модуль struct позволяет сериализовать целые числа, числа с плавающей точкой и строки фиксированной длины в байтовые последовательности и обратно. Пример записи и чтения заголовка с 32-битным целым и 64-битным числом.

import struct

# Запись
with open('struct.bin', 'wb') as f:
    packed = struct.pack('<I d', 42, 3.14)  # little-endian, 4 + 8 байт
    f.write(packed)

# Чтение
with open('struct.bin', 'rb') as f:
    data = f.read(12)
    integer, double = struct.unpack('<I d', data)
    print(integer, double)

42 3.14

Эффективное копирование и изменение байтов с memoryview

Класс memoryview позволяет работать с буферами без создания копий. Это ускоряет операции над большими массивами байтов.

with open('large.bin', 'rb') as f:
    data = bytearray(f.read(1024))
view = memoryview(data)
view[:5] = b'ABCDE'  # Изменение первых 5 байт без копирования
print(data[:10])

bytearray(b'ABCDE...')

Отображение файла в память с помощью mmap

Модуль mmap позволяет работать с файлом как с массивом байтов, используя виртуальную память. Это даёт высокую производительность для произвольного доступа.

import mmap

with open('data.bin', 'r+b') as f:
    with mmap.mmap(f.fileno(), 0) as mm:
        # Чтение первых 10 байт
        print(mm[:10])
        # Замена байтов
        mm[5:8] = b'XYZ'

b'... (первые 10 байт) ...'

Асинхронное чтение байтов с aiofiles

Для неблокирующей работы с файлами в асинхронных приложениях используется библиотека aiofiles.

import asyncio
import aiofiles

async def read_bytes():
    async with aiofiles.open('bigfile.bin', 'rb') as f:
        chunk = await f.read(1024)
        print(f'Асинхронно прочитано {len(chunk)} байт')

asyncio.run(read_bytes())

Асинхронно прочитано 1024 байт

Чтение бинарного файла в массив чисел numpy

Для научных расчётов бинарные данные часто загружаются в numpy массивы. Пример чтения 32-битных float из файла.

import numpy as np

with open('floats.bin', 'rb') as f:
    data = np.fromfile(f, dtype=np.float32)
print(data[:5])

[ 1.5  2.3  ... ]