Чтение файлов: основные приёмы и расширенные техники

Как читать файл по частям заданного размера (chunking)?

Для бинарных файлов или больших текстовых файлов, где строки могут быть очень длинными, полезно читать файл блоками определённого размера.

chunk_size = 1024  # 1 КБ
with open('large_file.bin', 'rb') as f:
    while True:
        chunk = f.read(chunk_size)
        if not chunk:
            break
        # обработка chunk
        print(len(chunk), 'байт прочитано')
  

1024 байт прочитано
1024 байт прочитано
...
(последний блок может быть меньше)
  

Пояснение: метод read(n) возвращает не более n байт. Цикл продолжается, пока данные не закончатся. Этот подход позволяет обрабатывать файлы любого размера без загрузки в память целиком. Случаи: копирование файлов, чтение архивов, обработка потоковых данных.

Как разобрать CSV-файл без использования модуля csv?

Можно вручную разделить строки на колонки, учитывая возможные кавычки. Ниже пример простого парсера для CSV с разделителем запятой.

with open('data.csv', 'r', encoding='utf-8') as f:
    headers = f.readline().strip().split(',')
    rows = []
    for line in f:
        values = line.strip().split(',')
        rows.append(dict(zip(headers, values)))
print(rows[:2])
  

Результат (пример для CSV с колонками name, age):

[{'name': 'Alice', 'age': '30'}, {'name': 'Bob', 'age': '25'}]
  

Пояснение: первая строка считывается как заголовки, затем каждая последующая строка разбивается и объединяется с заголовками в словарь. Важно: этот способ не обрабатывает кавычки внутри полей, но подходит для простых данных.

Как использовать mmap для быстрого доступа к участку файла?

Модуль mmap позволяет отобразить файл в память, обеспечивая доступ как к обычному массиву байт. Полезно для случайного доступа к большим файлам.

import mmap

with open('data.bin', 'r+b') as f:
    # отображаем первые 4096 байт
    with mmap.mmap(f.fileno(), 4096, access=mmap.ACCESS_READ) as mm:
        # читаем байты с 100 по 110
        chunk = mm[100:110]
        print(chunk)
  

Результат: вывод 10 байт (в виде объекта bytes).

b'... (10 байт)'
  

Пояснение: mmap создаёт отображение, которое позволяет читать и записывать данные как в обычный массив. Используется для работы с большими бинарными файлами (базы данных, изображения) без полной загрузки. Необходимо указывать длину отображения.

Как прочитать последние N строк файла (аналог tail)?

Для чтения хвоста файла без загрузки всего файла можно использовать метод read() с поиском с конца или комбинацию seek и чтения блоков.

def tail(filename, n=10):
    with open(filename, 'rb') as f:
        # перемещаемся в конец файла
        f.seek(0, 2)
        file_size = f.tell()
        block_size = 1024
        data = b''
        while len(data) < n and file_size > 0:
            read_size = min(block_size, file_size)
            f.seek(file_size - read_size)
            data = f.read(read_size) + data
            file_size -= read_size
        # разделяем на строки и берём последние n
        lines = data.decode('utf-8').splitlines()
        return lines[-n:]

print(tail('example.txt', 5))
  

Результат: список последних 5 строк.

['строка 996', 'строка 997', 'строка 998', 'строка 999', 'строка 1000']
  

Пояснение: функция считывает блоки с конца файла, пока не наберётся достаточное количество строк. Эффективно для больших файлов.

Как автоматически определить кодировку файла перед чтением?

Библиотека chardet позволяет определить вероятную кодировку на основе образца байтов. Устанавливается через pip install chardet.

import chardet

with open('unknown.txt', 'rb') as f:
    raw = f.read(10000)  # первые 10 КБ
    result = chardet.detect(raw)
    encoding = result['encoding']
    confidence = result['confidence']
    print(f'Определена кодировка: {encoding} (уверенность {confidence:.2f})')

# теперь читаем с определённой кодировкой
with open('unknown.txt', 'r', encoding=encoding) as f:
    content = f.read()
    print(content[:200])
  

Результат:

Определена кодировка: utf-8 (уверенность 0.99)
(первые 200 символов содержимого)
  

Пояснение: chardet анализирует байты и выдаёт наиболее вероятную кодировку. Полезно для файлов, полученных из внешних источников, где кодировка заранее не известна.

Как читать данные из строки, имитируя файл, с помощью StringIO?

Модуль io.StringIO позволяет создать файлоподобный объект из строки. Это удобно для тестирования или обработки текста, когда данные уже загружены в память.

import io

data = '''строка1
строка2
строка3'''

file_like = io.StringIO(data)
for line in file_like:
    print(line.strip())
file_like.close()
  

Результат:

строка1
строка2
строка3
  

Пояснение: StringIO предоставляет те же методы (read, readline, readlines), что и настоящий файл. Это позволяет применять стандартные библиотеки, ожидающие файловый объект, к строковым данным.