Использование urllib3 для выполнения HTTP запросов в Python

Как выполнить GET запрос с параметрами строки запроса?

Параметры передаются в аргументе fields. urllib3 автоматически кодирует их:

import urllib3
http = urllib3.PoolManager()
params = {'q': 'python urllib3', 'page': 1}
response = http.request('GET', 'https://httpbin.org/get', fields=params)
print(response.data.decode('utf-8'))

Python urllib3 request (использование urllib3 для запросов)

Как отправить данные в формате JSON?

Для отправки JSON используется аргумент body с явной установкой заголовка Content-Type:

import urllib3
import json
http = urllib3.PoolManager()
data = {'name': 'Alice', 'age': 30}
encoded_data = json.dumps(data).encode('utf-8')
response = http.request('POST', 'https://httpbin.org/post', 
                        body=encoded_data,
                        headers={'Content-Type': 'application/json'})
print(response.json())

Http error requests python (обработка http ошибок в requests)

Как обработать ошибки соединения и статус коды HTTP?

Для обработки ошибок сети используется блок try/except с исключениями urllib3.exceptions. Для проверки статуса кода - свойство status:

import urllib3
http = urllib3.PoolManager()
try:
    response = http.request('GET', 'https://httpbin.org/status/404')
    if response.status == 200:
        print('Успех')
    else:
        print(f'Статус: {response.status}')
except urllib3.exceptions.HTTPError as e:
    print(f'Ошибка HTTP: {e}')
except urllib3.exceptions.MaxRetryError as e:
    print(f'Превышено количество попыток: {e}')

Make request python (выполнение http-запроса)

Как автоматически повторять запросы при временных ошибках?

urllib3 имеет встроенный механизм повторных попыток через класс Retry:

import urllib3
from urllib3.util.retry import Retry

retry_strategy = Retry(
    total=3,
    backoff_factor=0.5,
    status_forcelist=[500, 502, 503, 504]
)
http = urllib3.PoolManager(retries=retry_strategy)
response = http.request('GET', 'https://httpbin.org/status/500')
print(response.status)

Python request files file name (отправка файла через requests)

Этот код автоматически повторит запрос до 3 раз с возрастающей задержкой при получении серверных ошибок.

Как отправить файл через multipart/form-data?

Для отправки файлов используется urllib3.filepost.encode_multipart_formdata:

import urllib3
from urllib3.filepost import encode_multipart_formdata

http = urllib3.PoolManager()
with open('test.txt', 'r') as f:
    data = f.read()
fields = {
    'file': ('test.txt', data, 'text/plain'),
    'description': 'Пример файла'
}
body, content_type = encode_multipart_formdata(fields)
response = http.request('POST', 'https://httpbin.org/post', 
                        body=body,
                        headers={'Content-Type': content_type})
print(response.json())

Python request params (параметры запроса)

Как выполнить запрос через HTTP/HTTPS прокси?

Для работы через прокси используется класс ProxyManager:

import urllib3

proxy_url = 'http://user:pass@proxy.example.com:8080'
proxy = urllib3.ProxyManager(proxy_url, cert_reqs='CERT_NONE')
response = proxy.request('GET', 'https://httpbin.org/get')
print(response.data.decode('utf-8'))

Python request download (скачивание файла через requests)

Как установить таймауты на соединение и чтение?

Таймауты задаются через класс Timeout:

import urllib3
from urllib3.util.timeout import Timeout

timeout = Timeout(connect=2.0, read=7.0)
http = urllib3.PoolManager(timeout=timeout)
response = http.request('GET', 'https://httpbin.org/delay/6')
print(response.status)

Если запрос не успевает за указанное время, будет выброшено исключение ReadTimeoutError.