Практические учебные задачи на Python: от парсинга до графиков

Расширенные примеры использования

На основе рассмотренной задачи можно построить более сложные решения: асинхронный сбор данных, визуализацию, автоматизацию по расписанию и интеграцию с GUI.

Асинхронное получение курсов с нескольких сайтов

Для одновременного опроса нескольких источников (например, ЦБ РФ и другого агрегатора) применяется модуль aiohttp. Собранные данные объединяются в один CSV.

import asyncio
import aiohttp
import pandas as pd

async def fetch_currency(session, url, name):
    async with session.get(url) as response:
        text = await response.text()
        # Предполагаем, что каждый источник возвращает XML/JSON
        # Здесь упрощённый пример для ЦБ РФ
        df = pd.read_xml(text, xpath='.//Valute')
        return name, df[['CharCode', 'Name', 'Value']]

async def main():
    urls = {
        'cbr': 'http://www.cbr.ru/scripts/XML_daily.asp',
        # другой источник
    }
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_currency(session, url, name) for name, url in urls.items()]
        results = await asyncio.gather(*tasks)
        
    all_data = []
    for source, df in results:
        df['Source'] = source
        all_data.append(df)
    combined = pd.concat(all_data, ignore_index=True)
    combined.to_csv('multi_currency.csv', index=False)
    print('Сохранено multi_currency.csv')

if __name__ == '__main__':
    asyncio.run(main())

Сохранено multi_currency.csv

Такой подход полезен при сборе данных из нескольких источников без блокировки ввода-вывода.

Сохранение в Excel с форматированием

Иногда требуется не только CSV, но и Excel с цветными ячейками. Используется библиотека openpyxl.

import pandas as pd
from openpyxl import Workbook
from openpyxl.styles import PatternFill

url = 'http://www.cbr.ru/scripts/XML_daily.asp'
df = pd.read_xml(url, xpath='.//Valute')
df = df[['CharCode', 'Name', 'Value']]

# Создание Excel
with pd.ExcelWriter('currency_rates.xlsx', engine='openpyxl') as writer:
    df.to_excel(writer, sheet_name='Курсы', index=False)
    
    # Форматирование через openpyxl
    workbook = writer.book
    worksheet = writer.sheets['Курсы']
    fill = PatternFill(start_color='FFFF00', end_color='FFFF00', fill_type='solid')
    for cell in worksheet[1]:
        cell.fill = fill

print('Данные сохранены в currency_rates.xlsx')

Автоматический запуск по расписанию

Для ежедневного обновления курсов можно использовать библиотеку schedule.

import schedule
import time
import pandas as pd

def job():
    url = 'http://www.cbr.ru/scripts/XML_daily.asp'
    df = pd.read_xml(url, xpath='.//Valute')
    df[['CharCode', 'Name', 'Value']].to_csv('currency_daily.csv', index=False)
    print(f'{time.strftime("%Y-%m-%d %H:%M")} - Данные обновлены')

schedule.every().day.at('12:00').do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

Скрипт будет запускаться каждый день в 12:00. Для работы в фоне можно использовать cron (Linux) или планировщик задач (Windows).

Визуализация курсов с помощью Matplotlib

После накопления исторических данных можно построить график изменения курса.

import matplotlib.pyplot as plt
import pandas as pd

# Предполагается, что ранее сохранён файл с историей currency_history.csv
df = pd.read_csv('currency_history.csv', parse_dates=['Date'])
usd = df[df['CharCode'] == 'USD']

plt.plot(usd['Date'], usd['Value'], marker='o')
plt.title('Курс доллара по дням')
plt.xlabel('Дата')
plt.ylabel('Курс (руб)')
plt.grid(True)
plt.savefig('usd_plot.png')
plt.show()