Как отправлять запросы по URL через библиотеку requests в Python

Расширенные примеры работы с библиотекой requests

Асинхронные запросы с aiohttp

Для высокопроизводительных приложений, где нужно одновременно выполнить много запросов, используется асинхронная библиотека aiohttp (совместно с asyncio).

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ['https://httpbin.org/get', 'https://httpbin.org/get?x=1']
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for res in results:
            print(res[:100])

asyncio.run(main())

{
  "args": {}, 
  "headers": {...}, 
  "origin": "...", 
  "url": "https://httpbin.org/get"
}
{
  "args": {"x": "1"}, 
  ...
}

Потоковая загрузка больших файлов

При скачивании больших файлов (например, видео), чтобы не держать их в памяти целиком, используется потоковая передача с параметром stream=True.

import requests

url = 'https://example.com/bigfile.zip'
response = requests.get(url, stream=True)
response.raise_for_status()

with open('bigfile.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        f.write(chunk)

(Файл bigfile.zip сохранён на диск, прогресс можно отслеживать подсчётом байт)

Загрузка файлов на сервер (multipart/form-data)

Для отправки файлов используется параметр files, который принимает словарь имя_поля: (имя_файла, содержимое) или кортеж.

url = 'https://httpbin.org/post'
files = {'file': ('test.txt', b'Hello World', 'text/plain')}
response = requests.post(url, files=files)
print(response.json()['files'])

{
  "file": "Hello World"
}

Работа с cookie

Cookies можно получать из ответа и отправлять в запрос. Сессия делает это автоматически, но можно и вручную.

session = requests.Session()
session.get('https://httpbin.org/cookies/set?name=value')
print(session.cookies.get_dict())
response = session.get('https://httpbin.org/cookies')
print(response.json()['cookies'])

{'name': 'value'}
{'name': 'value'}

Авторизация Basic Auth и Bearer Token

Для Basic Auth используется параметр auth с кортежем (логин, пароль). Для Bearer token – заголовок Authorization.

# Basic Auth
response = requests.get('https://httpbin.org/basic-auth/user/pass', auth=('user', 'pass'))
print(response.status_code, response.json())

# Bearer Token
token = 'your_token'
headers = {'Authorization': f'Bearer {token}'}
response = requests.get('https://api.example.com/me', headers=headers)

200 {'authenticated': True, 'user': 'user'}
(зависит от API)

Запрос с использованием verify и cert для клиентских сертификатов

При работе с взаимной аутентификацией TLS передаются сертификат и ключ через параметр cert.

response = requests.get('https://example.com', cert=('/path/to/client.crt', '/path/to/client.key'))

Результат зависит от сервера. При отсутствии корректного сертификата вернётся ошибка.

Повторные попытки (retry) с использованием адаптера HTTPAdapter

Для автоматического повторения запросов при временных сбоях настраивается HTTPAdapter с Retry.

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

response = session.get('https://httpbin.org/status/503')
print(response.status_code)  # после нескольких попыток может вернуть 200

200 (если сервер перестал отвечать 503)