Выбор инструмента для табличных расчётов в Python

Расширенные примеры работы с табличными библиотеками

1. Pandas: объединение таблиц и сводные таблицы

import pandas as pd

orders = pd.DataFrame({'order_id': [1,2,3], 'customer_id': [10,20,10], 'amount': [100,200,150]})
customers = pd.DataFrame({'customer_id': [10,20], 'name': ['Alice','Bob']})

merged = pd.merge(orders, customers, on='customer_id')
pivot = pd.pivot_table(merged, values='amount', index='name', aggfunc='sum')
print(pivot)

       amount
name
Alice    250
Bob      200

Пояснение: pd.merge выполняет SQL-подобное соединение по ключу. pivot_table создаёт сводную таблицу с агрегацией сумм.

2. Polars: ленивые вычисления и оптимизация

import polars as pl

q = (
    pl.scan_csv('sales.csv')
    .filter(pl.col('date') > pl.date(2024,1,1))
    .group_by('product')
    .agg(pl.sum('revenue'))
    .sort('revenue', descending=True)
)
df = q.collect()
print(df)

shape: (2, 2)
┌─────────┬─────────┐
│ product ┆ revenue │
│ ---     ┆ ---     │
│ str     ┆ f64     │
╞═════════╪═════════╡
│ Laptop  ┆ 15000.0 │
│ Mouse   ┆  5000.0 │
└─────────┴─────────┘

Используется scan_csv для ленивого чтения (без загрузки в память), затем цепочка преобразований, и только collect() запускает вычисления. Это уменьшает использование памяти.

3. openpyxl: добавление диаграммы и стилей

from openpyxl import Workbook
from openpyxl.chart import BarChart, Reference
from openpyxl.styles import Font

wb = Workbook()
ws = wb.active
ws.append(['Продукт', 'Продажи'])
ws.append(['A', 30])
ws.append(['B', 45])
ws['C1'] = 'Отчёт'
ws['C1'].font = Font(bold=True, size=14)

chart = BarChart()
data = Reference(ws, min_col=2, min_row=1, max_row=3)
cats = Reference(ws, min_col=1, min_row=2, max_row=3)
chart.add_data(data, titles_from_data=True)
chart.set_categories(cats)
ws.add_chart(chart, 'E1')
wb.save('chart_report.xlsx')

Файл с диаграммой создан

Пример демонстрирует стилизацию ячеек, создание гистограммы на основе данных и добавление её на лист.

4. Tabulate: экспорт в Markdown и HTML

from tabulate import tabulate

table = [['Name', 'Score'], ['Alice', 95], ['Bob', 87]]
md_output = tabulate(table, headers='firstrow', tablefmt='pipe')
html_output = tabulate(table, headers='firstrow', tablefmt='html')
print('Markdown:')
print(md_output)
print('HTML:')
print(html_output)

Markdown:
| Name  |   Score |
|-------|--------|
| Alice |     95 |
| Bob   |     87 |
HTML:
<table>
<thead>
<tr><th>Name  </th><th style="text-align: right;">  Score</th></tr>
</thead>
<tbody>
<tr><td>Alice </td><td style="text-align: right;">    95</td></tr>
<tr><td>Bob   </td><td style="text-align: right;">    87</td></tr>
</tbody>
</table>

Полезно для вставки таблиц в документацию или на веб-страницы.

5. Dask: параллельная обработка с пользовательской функцией

import dask.dataframe as dd
import pandas as pd

def custom_func(x):
    return x * 2

df = pd.DataFrame({'val': [1,2,3,4]})
ddf = dd.from_pandas(df, npartitions=2)
result = ddf['val'].map_partitions(custom_func).compute()
print(result)

0    2
1    4
2    6
3    8
dtype: int64

Здесь map_partitions применяет функцию к каждой партиции независимо. Для мелких задач Dask излишен, но для крупных даёт масштабирование.