URL в Python: получение, обработка и парсинг в Pandas

Расширенные примеры загрузки и обработки URL

Ниже приведены более сложные сценарии, которые могут потребоваться в реальных проектах.

1. Загрузка данных с аутентификацией через Bearer Token

Для API, требующих токен, передайте заголовок через storage_options в pd.read_csv или используйте requests.

import pandas as pd
import requests

url = 'https://api.example.com/data.csv'
headers = {'Authorization': 'Bearer YOUR_TOKEN'}
response = requests.get(url, headers=headers)
response.raise_for_status()
df = pd.read_csv(pd.io.common.StringIO(response.text))
print(df.head())

2. Обработка постраничного API (пагинация)

Когда данные разбиты на страницы, необходимо последовательно загружать каждую страницу и объединять.

import pandas as pd
import requests

def fetch_page(page):
    url = f'https://api.example.com/items?page={page}&limit=100'
    response = requests.get(url)
    return pd.json_normalize(response.json())

all_data = []
for p in range(1, 6):
    df_page = fetch_page(p)
    all_data.append(df_page)
result = pd.concat(all_data, ignore_index=True)
print(result.shape)

3. Извлечение URL из колонки с помощью apply и продвинутой логики

Использование apply с собственной функцией для фильтрации или валидации ссылок.

import pandas as pd
import re

def extract_valid_urls(text):
    pattern = r'https?://(?:www\.)?[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}(?:/[^\s]*)?'
    matches = re.findall(pattern, text if isinstance(text, str) else '')
    return matches if matches else None

df = pd.DataFrame({'text': ['Check https://site.com', 'Invalid http://', 'https://example.org/path']})
df['valid_urls'] = df['text'].apply(extract_valid_urls)
print(df)

Результат: для второй строки значение None, так как паттерн не обнаружил ссылку.

                 text        valid_urls
0  Check https://site.com  [https://site.com]
1           Invalid http:  None
2  https://example.org/path  [https://example.org/path]

4. Парсинг URL-параметров запроса в отдельные столбцы

Извлечение параметров из URL и их разложение.

from urllib.parse import urlparse, parse_qs
import pandas as pd

urls = ['https://example.com/?name=John&age=30', 'https://example.com/?name=Jane']
df = pd.DataFrame({'url': urls})

def parse_params(u):
    parsed = urlparse(u)
    params = parse_qs(parsed.query)
    # Вернуть серию из параметров
    return pd.Series({k: v[0] for k, v in params.items()})

df = df.join(df['url'].apply(parse_params))
print(df)

                                url  age   name
0  https://example.com/?name=John&age=30   30   John
1   https://example.com/?name=Jane   NaN   Jane

5. Асинхронная загрузка большого списка URL с помощью asyncio и aiohttp

Для высокопроизводительных приложений подходит асинхронный подход.

import asyncio
import aiohttp
import pandas as pd
from io import StringIO

async def load_csv(session, url):
    async with session.get(url) as resp:
        text = await resp.text()
        return pd.read_csv(StringIO(text))

async def main():
    urls = ['https://example.com/file1.csv', 'https://example.com/file2.csv']
    async with aiohttp.ClientSession() as session:
        tasks = [load_csv(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
    combined = pd.concat(results, ignore_index=True)
    print(combined.shape)

asyncio.run(main())

6. Загрузка данных из URL с кэшированием

Чтобы не загружать один и тот же URL повторно, можно кэшировать результат на диске.

import pandas as pd
import requests
import hashlib
from pathlib import Path

def load_csv_cached(url):
    cache_dir = Path('./cache')
    cache_dir.mkdir(exist_ok=True)
    filename = hashlib.md5(url.encode()).hexdigest() + '.csv'
    filepath = cache_dir / filename
    if filepath.exists():
        return pd.read_csv(filepath)
    response = requests.get(url)
    response.raise_for_status()
    with open(filepath, 'w') as f:
        f.write(response.text)
    return pd.read_csv(StringIO(response.text))

df = load_csv_cached('https://raw.githubusercontent.com/...')
print(df.info())