Объект Response в Requests: полное описание

Как получить данные в формате JSON из ответа requests?

Метод response.json() автоматически парсит тело ответа как JSON. Если сервер возвращает некорректный JSON или ответ пуст, будет выброшено исключение ValueError. Рекомендуется оборачивать вызов в try-except.

import requests

resp = requests.get('https://api.github.com/users/octocat')
try:
    user = resp.json()
    print(user['login'])
except ValueError:
    print('Ответ не содержит валидный JSON')

Python 3 requests (библиотека requests в python 3)

Используется при работе с RESTful API, веб-хуками и любыми сервисами, возвращающими JSON.

Как извлечь текст из ответа requests с корректной кодировкой?

Свойства response.text и response.content дают строку и байты соответственно. text автоматически декодирует, используя предположительную кодировку, но можно явно задать response.encoding = 'utf-8'. Если необходимо получить сырой контент (например, для бинарных данных), используют content.

import requests

r = requests.get('https://www.python.org')
r.encoding = 'utf-8'  # принудительно
print(r.text[:200])

Python requests url (выполнение запроса по url с помощью requests в python)

Применяется для веб-скрапинга, скачивания HTML-страниц, работы с текстовыми API.

Как проверить успешность запроса без исключений?

Атрибут response.ok возвращает True, если код статуса меньше 400. Метод response.raise_for_status() генерирует исключение HTTPError для кодов 400-599. Выбор зависит от стиля: ok для простой проверки, raise_for_status для явной обработки ошибок.

import requests

resp = requests.get('https://httpbin.org/status/404')
if not resp.ok:
    print(f'Ошибка: {resp.status_code}')
else:
    print(resp.text)

Python requests headers (заголовки запросов в python requests)

Необходимо для валидации ответов перед дальнейшей обработкой.

Как получить HTTP заголовки и куки из ответа requests?

Headerы доступны через response.headers (объект CaseInsensitiveDict). Куки сохраняются в response.cookies (RequestsCookieJar). Можно также получить значение конкретного заголовка: response.headers.get('Content-Type').

import requests

resp = requests.get('https://httpbin.org/cookies/set?name=value')
print(resp.headers['Set-Cookie'])
print(resp.cookies.get('name'))

Python requests exceptions (исключения в python requests)

Полезно для отладки, авторизации через куки, отслеживания редиректов.

Как скачать и сохранить бинарный файл (изображение, PDF) из ответа requests?

Для больших файлов использовать response.iter_content(chunk_size=8192) для потоковой загрузки. Для небольших файлов можно использовать response.content и сразу записать в файл. Важно открыть файл в бинарном режиме 'wb'.

import requests

url = 'https://www.python.org/static/img/python-logo.png'
r = requests.get(url, stream=True)
with open('logo.png', 'wb') as f:
    for chunk in r.iter_content(chunk_size=1024):
        f.write(chunk)

Python requests codes (коды ответов http в python requests)

Используется для загрузки контента с сайтов, изображений, документов.

Как получить историю редиректов и отключить их автоматическое следование?

По умолчанию requests следует редиректам (allow_redirects=True). История доступна в response.history (список объектов Response). Чтобы отключить, передать allow_redirects=False.

import requests

r = requests.get('http://httpbin.org/redirect/3')
print(f'Конечный URL: {r.url}')
print(f'Количество редиректов: {len(r.history)}')
for resp in r.history:
    print(resp.status_code, resp.url)

Python module requests (модуль requests в python)

Применяется для анализа цепочки перенаправлений или при работе с API, где редиректы недопустимы.

Как корректно обрабатывать исключения при запросах: ConnectionError, Timeout, HTTPError?

Все исключения библиотеки requests наследуются от requests.exceptions.RequestException. Рекомендуется ловить общее исключение или конкретные (Timeout, ConnectionError). Таймаут задаётся параметром timeout.

import requests
from requests.exceptions import Timeout, ConnectionError

try:
    r = requests.get('https://httpbin.org/delay/5', timeout=2)
    r.raise_for_status()
except Timeout:
    print('Превышен таймаут')
except ConnectionError:
    print('Не удалось подключиться')
except requests.exceptions.RequestException as e:
    print(f'Ошибка: {e}')

Необходимо для стабильной работы программ, особенно при периодических опросах серверов.