Работа с HTTP в Python: практическое применение requests

Как отправить GET запрос с параметрами?

Для передачи параметров запроса используется аргумент params, который принимает словарь или список кортежей.

params = {'q': 'python requests', 'page': 1}
response = requests.get('https://httpbin.org/get', params=params)
print(response.url)  # https://httpbin.org/get?q=python+requests&page=1

Url запрос python (работа с url в python)

Пояснение: библиотека самостоятельно кодирует параметры и добавляет их к URL. Если значение параметра None, оно будет пропущено.

Как отправить POST запрос с JSON или формой?

Для JSON используется аргумент json, для формы data.

# JSON
response = requests.post('https://httpbin.org/post', json={'key': 'value'})
# Форма (application/x-www-form-urlencoded)
response = requests.post('https://httpbin.org/post', data={'key': 'value'})
# Форма с файлом (multipart)
files = {'file': ('filename.txt', b'content')}
response = requests.post('https://httpbin.org/post', files=files)

Python urllib request (отправка запросов с помощью urllib.request в python)

Пояснение: при передаче data со словарём данные кодируются как форма. Для загрузки файлов используется аргумент files.

response = requests.post(url, data=json.dumps(payload), headers={'Content-Type': 'application/json'})

Как обработать ошибки HTTP?

Метод raise_for_status() вызывает исключение HTTPError если статус код 4xx или 5xx.

response = requests.get('https://httpbin.org/status/404')
if response.ok:
    print('Успех')
else:
    print(f'Ошибка {response.status_code}')
# Или с исключением
try:
    response.raise_for_status()
except requests.exceptions.HTTPError as err:
    print(f'HTTP ошибка: {err}')

Python requests method (методы http-запросов в python (get, post, put, delete) с requests)

Пояснение: response.ok возвращает True для кодов 200-399. Исключения удобны для прерывания выполнения при ошибке.

Как использовать сессии для сохранения состояния?

Объект Session позволяет сохранять куки, заголовки и параметры между запросами.

with requests.Session() as session:
    session.headers.update({'User-Agent': 'my-app'})
    response1 = session.get('https://httpbin.org/cookies/set?name=value')
    response2 = session.get('https://httpbin.org/cookies')
    print(response2.json())  # {'cookies': {'name': 'value'}}

Python request data (извлечение данных из http-запроса (request) в python)

Пояснение: сессия автоматически управляет куками, переданными сервером. Можно задать базовый URL через session.mount или использовать адаптеры.

Как настроить таймаут и обработку таймаута?

Аргумент timeout задаёт максимальное время ожидания ответа.

try:
    response = requests.get('https://httpbin.org/delay/5', timeout=3)
except requests.exceptions.Timeout:
    print('Запрос превысил время ожидания')

Python send request (отправка http-запроса в python (requests.get/post))

Пояснение: таймаут применяется ко всем операциям (соединение, чтение). Можно задать кортеж (connect_timeout, read_timeout).

Как отправить запрос с аутентификацией?

Для базовой HTTP аутентификации используется аргумент auth.

from requests.auth import HTTPBasicAuth
response = requests.get('https://httpbin.org/basic-auth/user/pass',
                        auth=HTTPBasicAuth('user', 'pass'))
# Сокращенная форма
response = requests.get(url, auth=('user', 'pass'))

Python post file (отправка файла через post-запрос (requests.post(file)) в python)

Пояснение: для Digest аутентификации используется HTTPDigestAuth. Для OAuth2 нужны отдельные библиотеки.

Как игнорировать ошибки SSL сертификата?

Установка verify=False отключает проверку SSL (небезопасно).

response = requests.get('https://self-signed.badssl.com/', verify=False)
# Отключение предупреждения
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

Python requests параметры (передача параметров в get/post запросах requests в python)

Пояснение: в production следует использовать собственный сертификат через аргумент verify='/path/to/cert.pem'.

Как использовать прокси?

Прокси задаются через словарь proxies.

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get('http://example.org', proxies=proxies)
# Для аутентификации на прокси
proxies = {
    'http': 'http://user:pass@10.10.1.10:3128'
}

Пояснение: можно использовать SOCKS прокси, установив pip install requests[socks] и указав socks5://....