Извлечение HTML из веб-страниц с помощью Python: полный обзор подходов

Раздел: Веб-разработка -> HTTP

Способы получения HTML-содержимого через HTTP в Python

Задача загрузки HTML-кода удалённой веб-страницы возникает при веб-скрапинге, тестировании API или автоматизации. В Python существует несколько библиотек, позволяющих выполнять HTTP-запросы и получать ответ. Далее представлен обзор наиболее популярных подходов с примерами и разбором типичных сложностей.

Наиболее эффективное и удобное решение – библиотека requests. Она предоставляет высокоуровневый интерфейс, автоматическое декодирование содержимого, обработку кук и сессий.

import requests

url = 'https://example.com'
response = requests.get(url)
html = response.text  # строковое представление HTML
print(html[:200])     # первые 200 символов

Python requests get (get-запрос через requests в python)

Установка: pip install requests. После получения объекта Response свойство text возвращает HTML в кодировке, определённой по заголовку Content-Type. Если требуется байтовое содержимое, используют content.

Проблема: Сервер может быть недоступен или ответ содержать код ошибки.

Решение: Использовать исключения и проверять статус.

try:
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # выбросит исключение при статусе >= 400
    html = response.text
except requests.exceptions.RequestException as e:
    print(f'Ошибка запроса: {e}')

Get html python (получение html-содержимого через http в python)

Цель: Быстрое получение HTML для парсинга или анализа. Подходит для большинства сценариев.

Как получить HTML без установки сторонних библиотек?

В стандартной библиотеке Python есть модуль urllib.request. Он более низкоуровневый, но не требует дополнительных зависимостей.

from urllib.request import urlopen

with urlopen('https://example.com') as response:
    html_bytes = response.read()
    html = html_bytes.decode('utf-8', errors='ignore')
print(html[:200])

Url запрос python (работа с url в python)

Проблема: Нужно вручную указывать кодировку (часто utf-8, но не всегда). При неправильной декодировке возможны искажения.

Решение: Определять кодировку из заголовков ответа: response.headers.get_content_charset() или использовать chardet.

Случаи использования: Встраиваемые скрипты, где нельзя устанавливать пакеты, или минималистичные задачи.

Как использовать современный HTTP клиент с поддержкой HTTP/2?

Библиотека httpx поддерживает как синхронный, так и асинхронный режимы, а также HTTP/2.

import httpx

# Синхронный запрос
with httpx.Client() as client:
    response = client.get('https://httpbin.org/get')
    html = response.text
print(html[:200])

Python urllib request (отправка запросов с помощью urllib.request в python)

Проблема: HTTPS с HTTP/2 требует установки дополнительных зависимостей (pip install httpx[http2]).

Решение: Для большинства сайтов HTTP/1.1 достаточно, httpx работает и без http2.

Цель: Использовать единый API для синхронного и асинхронного программирования, а также получить преимущества HTTP/2 (мультиплексирование, сжатие заголовков).

Как эффективно получать множество страниц одновременно?

Для параллельных запросов применяют асинхронные библиотеки, например aiohttp.

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ['https://example.com', 'https://httpbin.org/get']
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for r in results:
            print(r[:100])

asyncio.run(main())

Files upload python (загрузка файлов на сервер с помощью python (requests, flask))

Проблема: Асинхронный код сложнее в отладке и требует понимания async/await. При большом количестве запросов может потребоваться ограничение параллелизма (asyncio.Semaphore).

Случаи использования: Сбор данных с сотен страниц, где последовательные запросы слишком медленны.

Как сохранять состояние между запросами (куки, сессия)?

В библиотеке requests объект Session автоматически сохраняет куки и настройки между запросами.

session = requests.Session()
session.get('https://example.com/login')  # сервер устанавливает куки
response = session.get('https://example.com/profile')
print(response.url)  # куки передаются автоматически

Python requests method (методы http-запросов в python (get, post, put, delete) с requests)

Проблема: Если сайт использует CSRF-токены или динамические параметры, сессии могут быть недостаточны. Требуется дополнительная обработка.

Случаи использования: Авторизация, веб-приложения с сессиями, работа с API, требующими аутентификации.

Как имитировать браузер (User-Agent и другие заголовки)?

Некоторые серверы блокируют запросы без заголовка User-Agent. Передача заголовков решает эту проблему.

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get('https://httpbin.org/headers', headers=headers)
print(response.text)

Python request data (извлечение данных из http-запроса (request) в python)

Проблема: Разные сайты могут требовать специфические заголовки (Referer, Accept-Language и т.д.). Неверные заголовки могут привести к 403 ошибке.

Решение: Изучить заголовки, отправляемые браузером (инструменты разработчика), и копировать их выборочно.

Случаи использования: Парсинг сайтов с защитой от ботов, обход ошибок 403/429.

Как обрабатывать ошибки HTTP (4xx, 5xx)?

Метод raise_for_status() генерирует исключение, если статус-код указывает на ошибку клиента или сервера.

response = requests.get('https://httpbin.org/status/404')
try:
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    print(f'HTTP ошибка: {e.response.status_code}')

Python send request (отправка http-запроса в python (requests.get/post))

Проблема: Некоторые сайты возвращают 200, но в теле содержат HTML с сообщением об ошибке. raise_for_status() не поможет, нужна проверка содержимого.

Случаи использования: Надёжный сбор данных, когда важно убедиться в успехе запроса.

Как использовать прокси для запросов?

Передача словаря proxies в запрос.

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080'
}
response = requests.get('https://example.com', proxies=proxies)
print(response.status_code)

Python post file (отправка файла через post-запрос (requests.post(file)) в python)

Проблема: Нестабильные или медленные прокси увеличивают время ответа. Требуется аутентификация для некоторых прокси (формат http://user:pass@proxy).

Случаи использования: Обход географических ограничений, снятие нагрузки с одного IP, парсинг с разных адресов.

Как избежать зависания скрипта из-за долгого ответа?

Параметр timeout ограничивает время ожидания.

response = requests.get('https://httpbin.org/delay/10', timeout=(3, 10))
# (connect_timeout, read_timeout)

Проблема: Если сервер установлен на локальной сети и не отвечает, таймаут может быть превышен. Рекомендуется выставлять разумные значения (3-5 секунд на соединение).

Случаи использования: Любые запросы, где важна отзывчивость приложения.

- Python requests timeout (установка таймаута для http-запроса (requests timeout) в python)

Расширенные примеры получения HTML-содержимого

Далее приведены продвинутые сценарии, демонстрирующие работу с авторизацией, повторными запросами, потоковой загрузкой и асинхронной обработкой.

Пример 1: Автоматические повторные попытки (retry) с использованием requests

Пример 
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[500, 502, 503, 504]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('http://', adapter)
session.mount('https://', adapter)

try:
    response = session.get('https://httpbin.org/status/503', timeout=5)
    html = response.text
except requests.exceptions.RetryError as e:
    print('Все попытки исчерпаны', e)
# Если сервер вернёт 503, requests сделает до 3 попыток с экспоненциальной задержкой.

Пояснение: стратегия повторений уменьшает влияние временных сбоев. backoff_factor задаёт задержку между попытками (1, 2, 4 секунды).

Пример 2: Базовая аутентификация (Basic Auth)

Пример 
import requests
from requests.auth import HTTPBasicAuth

url = 'https://httpbin.org/basic-auth/user/pass'
response = requests.get(url, auth=HTTPBasicAuth('user', 'pass'))
print(response.status_code, response.json())
200 {'authenticated': True, 'user': 'user'}

Пояснение: HTTPBasicAuth автоматически формирует заголовок Authorization. Альтернатива – передача кортежа auth=('user', 'pass').

Пример 3: Потоковая загрузка больших HTML-страниц

Пример 
import requests

url = 'https://example.com/large-page'
with requests.get(url, stream=True) as response:
    response.raise_for_status()
    # Чтение по частям для экономии памяти
    chunks = []
    for chunk in response.iter_content(chunk_size=8192, decode_unicode=True):
        if chunk:
            chunks.append(chunk)
    html = ''.join(chunks)
print(f'Размер: {len(html)} символов')
Размер: 123456 символов

Пояснение: stream=True не загружает весь ответ сразу. iter_content возвращает итератор, позволяющий обрабатывать данные фрагментами.

Пример 4: Передача параметров запроса (query string)

Пример 
import requests

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=params)
print(response.url)  # сформированный URL
https://httpbin.org/get?key1=value1&key2=value2

Пояснение: словарь params автоматически кодируется и добавляется к URL. Избегает ручной конкатенации строк.

Пример 5: Асинхронная загрузка нескольких страниц с httpx

Пример 
import asyncio
import httpx

async def fetch(client, url):
    response = await client.get(url)
    return response.text[:100]

async def main():
    urls = ['https://example.com', 'https://httpbin.org/get', 'https://python.org']
    async with httpx.AsyncClient() as client:
        tasks = [fetch(client, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for i, r in enumerate(results):
            print(f'Page {i+1}: {r}')

asyncio.run(main())
Page 1: <!doctype html>...
Page 2: {
  "args": {}, ...
Page 3: <!doctype html>...

Пояснение: httpx поддерживает асинхронный режим, что позволяет одновременно отправлять запросы без блокировки. Для ограничения параллелизма можно использовать asyncio.Semaphore.

Пример 6: Обработка перенаправлений (redirects)

Пример 
import requests

# По умолчанию requests следует перенаправлениям (allow_redirects=True)
response = requests.get('https://httpbin.org/redirect/1', allow_redirects=True)
print('Final URL:', response.url)  # после перенаправления

# Отключение перенаправлений
response_no_redirect = requests.get('https://httpbin.org/redirect/1', allow_redirects=False)
print('Status without redirect:', response_no_redirect.status_code)  # 302
Final URL: https://httpbin.org/get
Status without redirect: 302

Пояснение: allow_redirects управляет автоматическим следованием по HTTP-редиректам. Отключение полезно для анализа цепочек редиректов.

Пример 7: Кастомный SSL-контекст (самоподписанные сертификаты)

Пример 
import requests

# Отключение проверки SSL (только для тестовых окружений!)
response = requests.get('https://self-signed.badssl.com', verify=False)
print(response.status_code)

# Использование собственного CA bundle
# response = requests.get('https://example.com', verify='/path/to/custom.pem')
200

Пояснение: verify=False отключает проверку SSL-сертификата. В продакшене настоятельно рекомендуется указывать путь к доверенному сертификату.

Пример 8: Сохранение и восстановление сессии (куки в файл)

Пример 
import requests
import pickle

# Сохранение сессии
session = requests.Session()
session.get('https://httpbin.org/cookies/set?name=value')
with open('session.pkl', 'wb') as f:
    pickle.dump(session.cookies, f)

# Восстановление
new_session = requests.Session()
with open('session.pkl', 'rb') as f:
    new_session.cookies.update(pickle.load(f))
response = new_session.get('https://httpbin.org/cookies')
print(response.text)
{
  "cookies": {
    "name": "value"
  }
}

Пояснение: куки сохраняются с помощью pickle и восстанавливаются в новую сессию. Полезно для долгих сеансов скачивания.

Получение HTML-содержимого через HTTP в Python - comments

En
Get html python (python)