Выполнение HTTP-запросов в Python: практическое руководство

Как отправить GET-запрос с помощью urllib.request?

Встроенный модуль urllib.request позволяет выполнять HTTP-запросы без установки сторонних пакетов. Его интерфейс более низкоуровневый, чем у requests.

from urllib.request import urlopen
from urllib.parse import urlencode

params = {'q': 'python', 'page': 1}
url = 'https://api.example.com/search?' + urlencode(params)
with urlopen(url) as response:
    data = response.read().decode('utf-8')
    print(data)

Python urllib3 request (использование urllib3 для запросов)

Для POST нужно передать данные в теле запроса:

from urllib.request import Request, urlopen
from urllib.parse import urlencode

url = 'https://api.example.com/submit'
data = urlencode({'name': 'John'}).encode()
req = Request(url, data=data, method='POST')
with urlopen(req) as response:
    print(response.read().decode())

Http error requests python (обработка http ошибок в requests)

Как использовать модуль http.client для низкоуровневых запросов?

http.client (или httplib в Python 2) предоставляет минимальные средства для работы с HTTP. Подход подходит, когда нужен полный контроль над процессом.

import http.client

conn = http.client.HTTPSConnection('api.example.com')
conn.request('GET', '/data')
response = conn.getresponse()
print(response.status, response.reason)
data = response.read().decode()
print(data)
conn.close()

Make request python (выполнение http-запроса)

POST-запрос с заголовками:

import http.client
import json

conn = http.client.HTTPSConnection('api.example.com')
headers = {'Content-Type': 'application/json'}
body = json.dumps({'key': 'value'})
conn.request('POST', '/submit', body=body, headers=headers)
response = conn.getresponse()
print(response.read().decode())
conn.close()

Python request files file name (отправка файла через requests)

Как выполнять асинхронные HTTP-запросы с aiohttp?

Для асинхронного ввода-вывода в Python используется библиотека aiohttp. Она позволяет выполнять множество запросов параллельно, что повышает производительность в I/O-задачах.

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, 'https://example.com')
        print(len(html))

asyncio.run(main())

Python request params (параметры запроса)

Параллельные запросы:

import aiohttp
import asyncio

async def main():
    urls = ['https://httpbin.org/get'] * 5
    async with aiohttp.ClientSession() as session:
        tasks = [session.get(url) for url in urls]
        responses = await asyncio.gather(*tasks)
        for resp in responses:
            print(resp.status)
            resp.close()

asyncio.run(main())

Python request download (скачивание файла через requests)

Как применять httpx для современных HTTP-запросов?

Библиотека httpx поддерживает как синхронный, так и асинхронный режимы, а также HTTP/2. Она предлагает интерфейс, похожий на requests, но с дополнительными возможностями.

import httpx

# Синхронный GET
response = httpx.get('https://api.example.com/data')
print(response.json())

# Асинхронный GET
async def async_request():
    async with httpx.AsyncClient() as client:
        resp = await client.get('https://api.example.com/data')
        return resp.json()

import asyncio
result = asyncio.run(async_request())
print(result)