Способы обработки сетевых сбоев в библиотеке requests

Как проверить статус-код без исключений?

Иногда требуется просто проанализировать код ответа, не прерывая выполнение. Можно проверять свойство response.status_code и свойство response.ok.

import requests

response = requests.get('https://httpbin.org/status/200')
if response.ok:
    print('Запрос успешен')
else:
    print(f'Ошибка: {response.status_code}')

Http error requests python (обработка http ошибок в requests)

Запрос успешен

Make request python (выполнение http-запроса)

Как перехватывать разные типы сетевых ошибок?

Библиотека requests предоставляет иерархию исключений: RequestException (базовое), HTTPError, ConnectionError, Timeout, TooManyRedirects и др. Можно ловить их по отдельности.

import requests
from requests.exceptions import HTTPError, ConnectionError, Timeout

try:
    response = requests.get('https://httpbin.org/delay/5', timeout=2)
    response.raise_for_status()
except Timeout:
    print('Таймаут запроса')
except ConnectionError:
    print('Проблемы с соединением')
except HTTPError as err:
    print(f'HTTP ошибка: {err}')
except Exception as e:
    print(f'Другая ошибка: {e}')

Python urllib3 request (использование urllib3 для запросов)

Как настроить таймауты, чтобы избежать зависания?

Параметр timeout задаёт максимальное время ожидания ответа. Если ответ не получен, выбрасывается requests.exceptions.ConnectTimeout или ReadTimeout. Рекомендуется всегда указывать timeout.

import requests

try:
    response = requests.get('https://httpbin.org/delay/10', timeout=3)
    print(response.text)
except requests.exceptions.Timeout:
    print('Запрос превысил время ожидания')

Python request files file name (отправка файла через requests)

Запрос превысил время ожидания

Python request params (параметры запроса)

Как автоматически повторять запрос при временных ошибках?

Использование HTTPAdapter с объектом Retry из urllib3. Это позволяет повторять запрос при ошибках 5xx, таймаутах и некоторых других. Повторения с задержкой (backoff) уменьшают нагрузку.

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "POST"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('http://', adapter)
session.mount('https://', adapter)

try:
    response = session.get('https://httpbin.org/status/500')
    response.raise_for_status()
except requests.exceptions.RetryError as e:
    print(f'Все попытки исчерпаны: {e}')
except requests.exceptions.HTTPError as e:
    print(f'HTTP ошибка после повторов: {e}')

Python request download (скачивание файла через requests)

(может быть вывод RetryError после 3 попыток)

Как логировать все ошибки для отладки?

Модуль logging позволяет записывать информацию об ошибках в файл или консоль. Можно настроить уровень логирования для библиотеки requests, чтобы видеть все запросы.

import requests
import logging

logging.basicConfig(level=logging.DEBUG)
requests_log = logging.getLogger("urllib3")
requests_log.setLevel(logging.DEBUG)

try:
    response = requests.get('https://httpbin.org/status/400')
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    logging.error(f'HTTP ошибка: {e}')

Как обрабатывать ошибки в сессиях с сохранением состояния?

Сессии (requests.Session) поддерживают cookies и заголовки. Обработка ошибок в сессиях ничем не отличается от отдельных запросов, но удобно централизовать логику.

import requests
from requests.exceptions import HTTPError

session = requests.Session()
session.headers.update({'User-Agent': 'MyApp/1.0'})

urls = ['https://httpbin.org/get', 'https://httpbin.org/status/403', 'https://httpbin.org/status/500']
for url in urls:
    try:
        resp = session.get(url)
        resp.raise_for_status()
        print(f'{url}: успех')
    except HTTPError as e:
        print(f'{url}: ошибка {resp.status_code} - {e}')

https://httpbin.org/get: успех
https://httpbin.org/status/403: ошибка 403 - 403 Client Error: ...
https://httpbin.org/status/500: ошибка 500 - 500 Server Error: ...