Отправка запросов по HTTP с помощью Python

Как выполнить HTTP-запрос с помощью стандартной библиотеки, не устанавливая внешних пакетов?

Модуль urllib.request

В стандартной библиотеке Python есть модуль urllib.request, который позволяет отправлять HTTP-запросы без дополнительных зависимостей. Он более низкоуровневый и требует ручной обработки многих аспектов.

Пример GET-запроса:

from urllib.request import urlopen
from urllib.error import URLError, HTTPError

try:
    with urlopen('https://httpbin.org/get') as response:
        print(response.status)
        print(response.read().decode('utf-8'))
except HTTPError as e:
    print(f'HTTP Error: {e.code} - {e.reason}')
except URLError as e:
    print(f'URL Error: {e.reason}')

Результат:

200
{
  "args": {},
  ...
}

POST-запрос с передачей данных в теле:

from urllib.request import Request, urlopen
from urllib.parse import urlencode

url = 'https://httpbin.org/post'
data = urlencode({'key': 'value'}).encode('utf-8')
req = Request(url, data=data, method='POST')
req.add_header('Content-Type', 'application/x-www-form-urlencoded')
with urlopen(req) as response:
    print(response.read().decode('utf-8'))

Результат:

{"args": {}, "data": "", "form": {"key": "value"}, ...}

Пояснения: Используется urlopen для открытия соединения. Для POST необходимо создать объект Request с указанием данных и метода. Данные нужно предварительно закодировать с помощью urlencode и преобразовать в байты. Обработка ошибок выполняется через исключения HTTPError и URLError.

Какой современный HTTP-клиент поддерживает HTTP/2 и асинхронность, оставаясь удобным?

Библиотека httpx

httpx - это современная библиотека, которая предоставляет синхронный и асинхронный API, поддерживает HTTP/1.1 и HTTP/2, а также множество возможностей, аналогичных requests, но с большей производительностью.

Установка:

pip install httpx

Синхронный GET-запрос:

import httpx
response = httpx.get('https://httpbin.org/get')
print(response.status_code)
print(response.text)

Асинхронный GET-запрос:

import asyncio
import httpx

async def fetch():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://httpbin.org/get')
        return response

response = asyncio.run(fetch())
print(response.text)

Пояснения: Для асинхронного использования нужен контекстный менеджер AsyncClient. Запрос выполняется через await. httpx также поддерживает передачу JSON с помощью параметра json, как и requests.

Как выполнить множество HTTP-запросов параллельно с максимальной производительностью?

Библиотека aiohttp

aiohttp - это асинхронная библиотека для HTTP-клиента и сервера. Она специально разработана для высоконагруженных приложений, где требуется много параллельных запросов.

Установка:

pip install aiohttp

Пример одиночного GET-запроса:

import aiohttp
import asyncio

async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('https://httpbin.org/get') as response:
            print(response.status)
            data = await response.text()
            print(data)

asyncio.run(main())

Пример параллельных запросов:

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ['https://httpbin.org/get'] * 5
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for res in results:
            print(len(res))

asyncio.run(main())

Пояснения: Создается сессия ClientSession, которая управляет соединениями. Каждый запрос выполняется в контексте session.get(). Для параллельного выполнения используется asyncio.gather. Сессию следует переиспользовать для нескольких запросов, чтобы не открывать новые соединения.