Эффективное чтение текстовых файлов: примеры на Python

Расширенные примеры чтения txt-файлов

Чтение с автоматическим определением кодировки (chardet)

Когда кодировка файла неизвестна, можно определить её с помощью модуля chardet, предварительно прочитав немного данных в бинарном режиме.

import chardet

with open('file.txt', 'rb') as f:
    raw = f.read(10000)
    result = chardet.detect(raw)
    encoding = result['encoding']
    print(f'Определена кодировка: {encoding}')

with open('file.txt', 'r', encoding=encoding) as f:
    content = f.read()
    print(content[:200])

Определена кодировка: utf-8
Содержимое файла (первые 200 символов)...

Фильтрация строк по условию

Пример чтения файла и вывода только строк, содержащих слово 'ERROR'.

with open('log.txt', 'r', encoding='utf-8') as f:
    for line in f:
        if 'ERROR' in line:
            print(line.strip())

[ERROR] 2025-03-25 10:15: Connection timeout
[ERROR] 2025-03-25 10:17: Disk full

Чтение gzip-сжатого текстового файла

Модуль gzip позволяет читать сжатые текстовые файлы напрямую.

import gzip

with gzip.open('archive.txt.gz', 'rt', encoding='utf-8') as f:
    for line in f:
        print(line.strip())

Первая строка из сжатого файла
Вторая строка...

Использование mmap для быстрого доступа к большим файлам

Модуль mmap отображает файл в память, что позволяет обращаться к произвольным участкам без загрузки всего файла.

import mmap

with open('large_file.txt', 'rb') as f:
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
        # читаем первые 100 байт
        print(mm[:100].decode('utf-8', errors='replace'))

Первые 100 символов большого файла...

Параллельная обработка строк с concurrent.futures

Для ускорения обработки можно распределить строки между потоками (все операции чтения при этом потокобезопасны, если файл открыт в одном потоке, а обработка - в других).

from concurrent.futures import ThreadPoolExecutor

def process_line(line):
    return len(line.strip())

with open('file.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()

with ThreadPoolExecutor(max_workers=4) as executor:
    lengths = list(executor.map(process_line, lines))

print(f'Длины строк: {lengths[:5]}...')

Длины строк: [12, 45, 7, 23, 34]...

Чтение с заменой символов (табуляции на пробелы)

После загрузки содержимого можно выполнить замену и вывести результат.

with open('data.txt', 'r', encoding='utf-8') as f:
    text = f.read()

text_with_spaces = text.replace('\t', '    ')
print(text_with_spaces[:300])

Первые 300 символов с заменой табуляции на 4 пробела...

Чтение из stdin (ввод с консоли)

Стандартный ввод позволяет читать данные, переданные через конвейер или введённые вручную.

import sys

print('Введите текст (Ctrl+Z/ Ctrl+D для завершения):')
for line in sys.stdin:
    print('Вы ввели:', line.strip())

Введите текст (Ctrl+Z/ Ctrl+D для завершения):
Привет
Вы ввели: Привет

Генератор для построчного чтения с очисткой

Функция-генератор может возвращать строки без лишних пробелов и символов новой строки.

def read_clean_lines(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        for line in f:
            yield line.strip()

for line in read_clean_lines('file.txt'):
    print(line)

Строка 1
Строка 2
Строка 3

Чтение с индикацией прогресса (tqdm)

Для больших файлов можно отображать прогресс с помощью библиотеки tqdm.

from tqdm import tqdm

with open('huge_file.txt', 'r', encoding='utf-8') as f:
    total_lines = sum(1 for _ in f)  # сначала считаем строки
    f.seek(0)
    for line in tqdm(f, total=total_lines, desc='Чтение'):
        pass  # здесь можно обрабатывать строку

print('Чтение завершено')

Чтение: 100%|██████████| 50000/50000 [00:01<00:00, 34567.89lines/s]

Чтение чисел из текстового файла с фильтрацией

Если файл содержит числа, можно извлечь их, отбросив нечисловые строки.

numbers = []
with open('numbers.txt', 'r', encoding='utf-8') as f:
    for line in f:
        stripped = line.strip()
        if stripped.isdigit():
            numbers.append(int(stripped))

print(numbers)

[42, 128, 7, 1024]