Как выполнять HTTP запросы в Python: обзор инструментов

Расширенные примеры работы с URL в Python

1. Обработка параметров с кодировкой специальных символов

import requests

params = {'q': 'python requests+urllib', 'page': 1}
response = requests.get('https://httpbin.org/get', params=params)
print('URL:', response.url)
# Вывод: URL: https://httpbin.org/get?q=python+requests%2Burllib&page=1

# Результат:
URL: https://httpbin.org/get?q=python+requests%2Burllib&page=1

Параметры автоматически URL-кодируются. Знак '+' кодируется как %2B, пробел как +.

2. Загрузка файлов с сервера

import requests

url = 'https://www.python.org/static/img/python-logo.png'
response = requests.get(url)
if response.status_code == 200:
    with open('python-logo.png', 'wb') as f:
        f.write(response.content)
    print('File downloaded successfully')
else:
    print('Failed to download')

Используется атрибут response.content для бинарных данных.

3. Отправка файлов на сервер (multipart/form-data)

import requests

files = {'file': ('test.txt', b'Hello, world!', 'text/plain')}
response = requests.post('https://httpbin.org/post', files=files)
print(response.json())

# Результат (часть ответа):
{
  "files": {"file": "Hello, world!"},
  ...
}

Второй элемент кортежа - имя файла, третий - MIME тип (опционально).

4. Использование прокси-сервера

import requests

proxies = {
    'http': 'http://user:pass@proxy.example.com:8080',
    'https': 'https://user:pass@proxy.example.com:8080'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

Прокси указываются отдельно для http и https. Требуется аутентификация, если нужна.

5. Работа с таймаутами и повторными попытками

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
import requests

session = requests.Session()
retry = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

try:
    response = session.get('https://httpbin.org/status/500', timeout=5)
    print(response.status_code)
except requests.exceptions.RetryError as e:
    print('Max retries exceeded:', e)

Настройка повторных попыток с экспоненциальной задержкой.

6. Аутентификация (Basic и Digest)

import requests
from requests.auth import HTTPBasicAuth, HTTPDigestAuth

# Basic аутентификация
response = requests.get('https://httpbin.org/basic-auth/user/pass',
                        auth=HTTPBasicAuth('user', 'pass'))
print(response.status_code)  # 200

# Digest аутентификация
response = requests.get('https://httpbin.org/digest-auth/auth/user/pass',
                        auth=HTTPDigestAuth('user', 'pass'))
print(response.status_code)  # 200

7. Использование cookies из браузера (пример с requests)

import requests

url = 'https://example.com'
cookies = {'sessionid': 'abc123'}
response = requests.get(url, cookies=cookies)
print(response.cookies)  # также можно получить cookies из ответа

8. Работа с URL с помощью urllib.parse

from urllib.parse import urlparse, urlencode, urljoin, quote, unquote

# Разбор URL
parsed = urlparse('https://user:pass@example.com:8080/path?query=1#frag')
print('Scheme:', parsed.scheme)
print('Netloc:', parsed.netloc)
print('Path:', parsed.path)
print('Query:', parsed.query)
print('Fragment:', parsed.fragment)

# Кодирование строки
encoded = quote('привет мир')
print('Encoded:', encoded)  # %D0%BF%D1%80%D0%B8%D0%B2%D0%B5%D1%82%20%D0%BC%D0%B8%D1%80

# Декодирование
decoded = unquote(encoded)
print('Decoded:', decoded)

# Объединение URL
base = 'https://example.com/api/v2/'
relative = '../users'
full_url = urljoin(base, relative)
print('Joined URL:', full_url)  # https://example.com/api/users

Модуль urllib.parse полезен для манипуляций с URL.

9. Асинхронные запросы с aiohttp (загрузка нескольких ресурсов параллельно)

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
        'https://httpbin.org/delay/1',
        'https://httpbin.org/delay/2',
        'https://httpbin.org/delay/3'
    ]
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for i, result in enumerate(results):
            print(f'{i}: length = {len(result)}')

asyncio.run(main())

Все запросы выполняются параллельно. Время выполнения минимально.

10. Отправка запроса с кастомным SSL сертификатом

import requests

response = requests.get('https://self-signed.badssl.com/', verify=False)
# Или указать путь к сертификату:
# response = requests.get('https://example.com', verify='/path/to/cert.pem')
print(response.status_code)

Использование verify=False отключает проверку SSL (не рекомендуется в production).