Работа с HTTPS в Python: библиотека requests и её возможности

Расширенные примеры работы с HTTPS запросами

Потоковая загрузка больших файлов

Параметр stream=True позволяет получать ответ чанками, не загружая всё в память.

response = requests.get('https://cdn.example.com/largefile.zip', stream=True)
with open('largefile.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        f.write(chunk)

Использование HTTPAdapter для настройки пула соединений

Адаптер позволяет управлять количеством соединений и таймаутами на уровне транспорта.

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retries = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retries, pool_connections=20, pool_maxsize=20)
session.mount('https://', adapter)

response = session.get('https://httpbin.org/status/500')
print(response.status_code)

Асинхронные запросы с помощью concurrent.futures

Хотя requests синхронный, можно выполнять несколько запросов параллельно, используя ThreadPoolExecutor.

import concurrent.futures
import requests

urls = ['https://httpbin.org/delay/1'] * 5

def fetch(url):
    return requests.get(url).status_code

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch, urls))
    print(results)

Работа с сертификатами CA (проверка по собственному удостоверяющему центру)

Для использования собственного CA-сертификата передайте путь к нему в verify.

response = requests.get('https://internal.company.com', verify='/path/to/ca-bundle.crt')
print(response.status_code)

Автоматическое следование редиректам и их отключение

По умолчанию requests следует редиректам (до 30). Отключить можно через allow_redirects=False.

response = requests.get('https://httpbin.org/redirect/1', allow_redirects=False)
print(response.status_code)
print(response.headers['Location'])

Сохранение куки в файл и их загрузка

Для постоянного хранения кук можно использовать requests.utils.dict_from_cookiejar и cookiejar_from_dict.

import requests
from http.cookiejar import LWPCookieJar

session = requests.Session()
session.cookies = LWPCookieJar('cookies.txt')
# загрузить ранее сохраненные
session.cookies.load(ignore_discard=True, ignore_expires=True)

# после запроса сохранить
response = session.get('https://httpbin.org/cookies/set?name=value')
session.cookies.save(ignore_discard=True, ignore_expires=True)

Использование OAuth2 (получение токена)

С помощью requests можно реализовать OAuth2 flow вручную.

import requests

# Client Credentials Grant
token_url = 'https://auth.example.com/oauth/token'
client_id = '...'
client_secret = '...'

data = {
    'grant_type': 'client_credentials',
    'client_id': client_id,
    'client_secret': client_secret,
}
response = requests.post(token_url, data=data)
token = response.json()['access_token']

# Использование токена
headers = {'Authorization': f'Bearer {token}'}
response = requests.get('https://api.example.com/data', headers=headers)
print(response.json())

Проверка SSL сертификата с указанием хэша отпечатка

Можно проверить сертификат по его SHA256 отпечатку, используя кастомный транспорт.

import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning

requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

# В этом примере показано только как получить отпечаток, реальная проверка требует подкласса HTTPAdapter
response = requests.get('https://httpbin.org', verify=False)
cert = response.raw.peercert
# дальнейшая обработка