Управление сетевыми ошибками в Python Requests: от теории к практике

Как обработать ошибку подключения (ConnectionError) и выполнить повтор?

При потере сети или недоступности хоста requests выбрасывает ConnectionError. Часто требуется автоматически повторить запрос через некоторое время.

import requests
import time
from requests.exceptions import ConnectionError

def fetch_with_retry(url, retries=3, delay=2):
    for attempt in range(1, retries+1):
        try:
            response = requests.get(url, timeout=5)
            response.raise_for_status()
            return response
        except ConnectionError as e:
            print(f'Попытка {attempt}: ошибка подключения - {e}')
            if attempt < retries:
                time.sleep(delay)
            else:
                raise
    return None

result = fetch_with_retry('https://httpbin.org/delay/10', retries=2, delay=1)

Python 3 requests (библиотека requests в python 3)

Пояснение: Функция пробует выполнить запрос до retries раз. Между попытками пауза delay секунд. Если все попытки неудачны, исключение пробрасывается выше. Таймаут timeout=5 защищает от зависания.

Как отловить и корректно обработать Timeout?

Исключение Timeout возникает, если сервер не отвечает в течение заданного времени. requests поддерживает раздельные таймауты на соединение и чтение.

import requests
from requests.exceptions import Timeout

try:
    # timeout = (connect_timeout, read_timeout)
    response = requests.get('https://httpbin.org/delay/10', timeout=(3, 5))
    response.raise_for_status()
except Timeout as e:
    print(f'Таймаут: {e}')
    # Можно повторить запрос или сообщить пользователю

Python requests url (выполнение запроса по url с помощью requests в python)

Пояснение: Первое значение - максимальное время на установление соединения, второе - на получение данных. Если не указать, таймаут не действует, и запрос может зависнуть навсегда.

Что делать при HTTP-ошибках (4xx, 5xx)?

HTTP-статусы ошибок обрабатываются исключением HTTPError. Его обычно генерирует метод raise_for_status().

import requests

try:
    response = requests.get('https://httpbin.org/status/403')
    if response.status_code == 403:
        print('Доступ запрещен, предпринимаем альтернативные действия')
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    print(f'HTTP ошибка: {e.response.status_code} - {e.response.reason}')
    # Анализ тела ответа для деталей
    if e.response.status_code == 404:
        print('Ресурс не найден')
    elif 500 <= e.response.status_code < 600:
        print('Серверная ошибка, повтор через 10 секунд')

Python requests headers (заголовки запросов в python requests)

Пояснение: Можно проверить код ответа до вызова raise_for_status(), чтобы выполнить специфичную логику. Само исключение доступно в e.response.

Как избежать ошибки TooManyRedirects?

По умолчанию requests следует перенаправлениям (до 30 раз). Если их слишком много, выбрасывается TooManyRedirects.

import requests
from requests.exceptions import TooManyRedirects

try:
    response = requests.get('https://httpbin.org/redirect/10', allow_redirects=True)
    response.raise_for_status()
except TooManyRedirects as e:
    print(f'Слишком много перенаправлений: {e}')
    # Можно отключить перенаправления и обработать вручную
    response = requests.get('https://httpbin.org/redirect/10', allow_redirects=False)
    print(f'Статус первого ответа: {response.status_code}')
    print(f'Заголовок Location: {response.headers.get("Location")}')

Python requests exceptions (исключения в python requests)

Пояснение: Параметр allow_redirects=False возвращает первый ответ (обычно 302) без автоматического следования. Затем приложение может самостоятельно анализировать цепочку.

Как настроить повторные попытки на уровне Session?

Объект Session позволяет автоматически повторять запросы при определенных исключениях с помощью HTTPAdapter и Retry.

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[500, 502, 503, 504],
    allowed_methods=['GET', 'POST']
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('https://', adapter)
session.mount('http://', adapter)

try:
    response = session.get('https://httpbin.org/status/503', timeout=5)
    response.raise_for_status()
except requests.exceptions.RetryError as e:
    print(f'Исчерпаны попытки: {e}')
except requests.exceptions.RequestException as e:
    print(f'Ошибка: {e}')

Python requests codes (коды ответов http в python requests)

Пояснение: Retry настраивает количество попыток, фактор задержки (backoff_factor) и коды статусов, при которых нужно повторить. HTTPAdapter монтируется на протоколы.

Как комбинировать обработку с логированием?

Логирование позволяет отследить все исключения и действия по восстановлению.

import requests
import logging
from requests.exceptions import RequestException, Timeout

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

def safe_get(url, **kwargs):
    try:
        response = requests.get(url, timeout=5, **kwargs)
        response.raise_for_status()
        return response
    except Timeout as e:
        logger.warning(f'Таймаут для {url}: {e}')
        raise
    except RequestException as e:
        logger.error(f'Ошибка запроса {url}: {e}')
        raise

try:
    data = safe_get('https://httpbin.org/delay/15')
except RequestException:
    pass

Пояснение: Каждый тип ошибки логируется с соответствующим уровнем. Это упрощает отладку в production-среде.