Как искать файлы в Python: от os.walk до pathlib

Расширенные примеры с дополнительными критериями

Помимо простого поиска по имени, часто требуется отбирать файлы по размеру, дате изменения, содержимому или другим свойствам. Ниже приведены примеры таких задач.

Поиск файлов больше заданного размера

Можно комбинировать rglob с фильтрацией по размеру (используя st_size из stat).

from pathlib import Path

# Найти все файлы больше 1 МБ (1000000 байт)
large_files = [f for f in Path('.').rglob('*') if f.is_file() and f.stat().st_size > 1_000_000]
for f in large_files[:5]:
    print(f, f.stat().st_size)

./data/bigfile.dat 2048576
./archive.tar.gz 1500000

Обратите внимание на экранирование символа > (больше) в коде. В реальном коде пишется >.

Поиск файлов по дате последнего изменения

Пример: найти все файлы, изменённые за последние 7 дней.

from pathlib import Path
from datetime import datetime, timedelta

cutoff = datetime.now() - timedelta(days=7)
recent = []
for f in Path('.').rglob('*'):
    if f.is_file():
        mtime = datetime.fromtimestamp(f.stat().st_mtime)
        if mtime > cutoff:
            recent.append(f)
for f in recent[:5]:
    print(f, mtime)

./log/app.log 2025-03-10 14:23:05
./tmp/temp.txt 2025-03-11 08:15:00

Аналогично можно искать файлы старше определённой даты, заменив условие на mtime < cutoff.

Поиск по содержимому файла (текстовая строка)

Для поиска файлов, содержащих определённую строку, требуется читать содержимое. Для больших файлов лучше читать построчно.

from pathlib import Path

search_string = 'Error'
for f in Path('.').rglob('*.log'):
    try:
        with f.open('r', errors='ignore') as fp:
            for line in fp:
                if search_string in line:
                    print(f'Найдено в {f}: {line.strip()}')
                    break
    except PermissionError:
        print(f'Нет доступа к {f}')

Найдено в ./logs/app.log: Error: connection lost
Найдено в ./logs/error.log: Error: timeout

Осторожно: поиск по содержимому может быть очень медленным на большом количестве файлов. Рекомендуется предварительно фильтровать по расширению и размеру.

Многопоточный поиск для ускорения

При поиске по содержимому или при большом количестве файлов можно использовать потоки для параллельной обработки.

from pathlib import Path
from concurrent.futures import ThreadPoolExecutor, as_completed
import os

def search_in_file(path):
    if path.is_file() and path.suffix == '.log':
        with path.open('r', errors='ignore') as f:
            for line in f:
                if 'Error' in line:
                    return path, line.strip()
    return None

with ThreadPoolExecutor(max_workers=4) as executor:
    futures = {executor.submit(search_in_file, p): p for p in Path('.').rglob('*.log')}
    for future in as_completed(futures):
        result = future.result()
        if result:
            print(f'Файл: {result[0]}, строка: {result[1]}')

Файл: ./logs/app.log, строка: Error: connection lost
Файл: ./logs/error.log, строка: Error: timeout

Использование потоков может ускорить поиск на дисках с большими задержками, но не увеличивает пропускную способность CPU из-за GIL. Для чисто IO-операций это оправдано.

Игнорирование определённых каталогов (например, .git, node_modules)

Часто нужно исключить из поиска системные или сгенерированные папки. С pathlib это можно сделать с помощью проверки part пути.

from pathlib import Path

ignore_dirs = {'node_modules', '.git', '__pycache__'}
for f in Path('.').rglob('*'):
    if any(ign in f.parts for ign in ignore_dirs):
        continue
    if f.is_file() and f.suffix == '.py':
        print(f)

./src/main.py
./tests/test_app.py

Альтернатива с os.walk уже показывает, как модифицировать список dirs.

Поиск символических ссылок

Иногда требуется найти только символические ссылки, а не обычные файлы.

from pathlib import Path

for f in Path('.').rglob('*'):
    if f.is_symlink():
        print(f'Ссылка: {f} -> {f.resolve()}')

Ссылка: ./link_to_file -> ./real_file.txt

По умолчанию rglob следует симлинкам; если нужно избежать циклов, можно отфильтровать по is_symlink при рекурсии (как в примере с scandir).

Поиск файлов с использованием регулярных выражений

Можно комбинировать rglob с модулем re для более гибкой фильтрации имени.

import re
from pathlib import Path

pattern = re.compile(r'^test_.*\.py$')
for f in Path('.').rglob('*'):
    if f.is_file() and pattern.match(f.name):
        print(f)

./test_unit.py
./test_integration.py

Вместо pattern.match можно использовать pattern.search для частичного совпадения.