Практическое руководство по анализу PDF файлов средствами Python в Data Science

Расширенные примеры извлечения и анализа данных из PDF

Пакетная обработка нескольких PDF файлов с сохранением в единый DataFrame

Допустим, в папке invoices находятся счета в формате PDF, каждый содержит таблицу с номерами и суммами. Следующий код извлекает все таблицы, объединяет их и добавляет имя файла как источник:

import pdfplumber
import pandas as pd
import glob

data_frames = []
for filepath in glob.glob('invoices/*.pdf'):
    with pdfplumber.open(filepath) as pdf:
        for page in pdf.pages:
            tbl = page.extract_table()
            if tbl:
                df = pd.DataFrame(tbl[1:], columns=tbl[0])
                df['source'] = filepath
                data_frames.append(df)
full_df = pd.concat(data_frames, ignore_index=True)
print(f'Общее количество строк: {len(full_df)}')

Общее количество строк: 245

Данный подход позволяет быстро собрать данные из тысячи файлов. При большом количестве стоит учитывать потребление памяти – обрабатывайте файлы порциями.

Извлечение данных из отсканированных PDF с помощью OCR (pytesseract)

Когда PDF содержит изображения страниц (скан), сначала конвертируйте страницу в изображение с помощью pdf2image, затем распознайте текст через Tesseract:

from pdf2image import convert_from_path
import pytesseract
import pandas as pd

images = convert_from_path('scan.pdf', dpi=300)
text_data = []
for img in images:
    text = pytesseract.image_to_string(img, lang='rus+eng')
    text_data.append(text)
full_text = '\n'.join(text_data)
print(full_text[:500])

Для таблиц можно использовать pytesseract.image_to_data с детализацией по ячейкам, но это требует дополнительной обработки.

Извлечение данных из защищённых паролем PDF

Библиотеки pdfplumber и PyPDF2 могут открывать зашифрованные файлы, если известен пароль. Пример с pdfplumber:

with pdfplumber.open('protected.pdf', password='secret123') as pdf:
    text = pdf.pages[0].extract_text()
    print(text[:200])

Если пароль неверен, возникнет исключение PdfReadError.

Извлечение изображений из PDF для анализа

Иногда требуется извлечь встроенные изображения (диаграммы, фотографии) для последующей обработки OpenCV или NumPy. Библиотека PyMuPDF (fitz) позволяет извлекать изображения:

import fitz  # PyMuPDF

doc = fitz.open('chart.pdf')
for page_num in range(len(doc)):
    page = doc.load_page(page_num)
    images = page.get_images(full=True)
    for img_index, img in enumerate(images):
        xref = img[0]
        pix = fitz.Pixmap(doc, xref)
        if pix.width > 100:  # фильтр маленьких иконок
            pix.save(f'image_{page_num}_{img_index}.png')

После сохранения изображения можно загрузить в NumPy как массив и применить компьютерное зрение.

Обработка таблиц с многоуровневыми заголовками

Некоторые PDF содержат объединённые ячейки заголовков. Для правильного парсинга нужно знать структуру. Пример использования camelot с постобработкой:

import camelot
import pandas as pd

tables = camelot.read_pdf('multi_header.pdf', flavor='lattice')
table = tables[0]
df = table.df  # DataFrame из сырых строк
print('Исходная таблица:')
print(df.head())

Исходная таблица:
       0      1      2
0  Header
1  SubA   SubB   SubC
2     10     20     30

Преобразование в плоский заголовок: объединить строки 0 и 1, например так:

new_columns = []
for col_idx in range(len(df.columns)):
    top = df.iloc[0, col_idx] if df.iloc[0, col_idx] else ''
    bottom = df.iloc[1, col_idx] if df.iloc[1, col_idx] else ''
    new_columns.append(f'{top}_{bottom}'.strip('_'))
df_clean = df.iloc[2:].reset_index(drop=True)
df_clean.columns = new_columns
print(df_clean)

  Header_SubA Header_SubB Header_SubC
0          10          20          30

Использование NumPy для анализа числовых данных из PDF

Когда извлечены большие числовые массивы (например, временные ряды из отчёта), можно сразу преобразовать их в массив NumPy и выполнить быстрые вычисления:

import numpy as np
import pdfplumber

with pdfplumber.open('timeseries.pdf') as pdf:
    page = pdf.pages[0]
    table = page.extract_table()
    data = np.array(table[1:], dtype=float)  # пропуская заголовок
    mean = np.mean(data[:, 1])  # среднее второго столбца
    std = np.std(data[:, 1])
    print(f'Среднее: {mean:.3f}, Стандартное отклонение: {std:.3f}')

Этот подход значительно быстрее, чем использование Pandas для простых матричных операций.