Парсинг HTML с requests и BeautifulSoup: практическое руководство

Расширенные примеры использования requests и BeautifulSoup

Пример 1: Парсинг таблицы с данными

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/table'
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'html.parser')
table = soup.find('table', class_='data')
rows = table.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    if cols:
        print([col.get_text(strip=True) for col in cols])

['Name', 'Age', 'City']
['Alice', '30', 'NYC']
['Bob', '25', 'LA']

Здесь находим таблицу по классу, затем все строки и ячейки. Обратите внимание, что первая строка может быть заголовком (th).

Пример 2: Использование сессии для сохранения кук

import requests
from bs4 import BeautifulSoup

session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})
# Авторизация
login_data = {'username': 'user', 'password': 'pass'}
session.post('https://example.com/login', data=login_data)
# Теперь запросы будут с куками
resp = session.get('https://example.com/profile')
soup = BeautifulSoup(resp.text, 'html.parser')
print(soup.find('h1').get_text())

Профиль пользователя

Сессия автоматически сохраняет куки, переданные сервером. Это удобно для сайтов с аутентификацией.

Пример 3: Извлечение всех ссылок и их текстов

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = 'https://example.com'
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'html.parser')
for a in soup.find_all('a', href=True):
    href = urljoin(url, a['href'])
    text = a.get_text(strip=True) or 'нет текста'
    print(f'{text} -> {href}')

Главная -> https://example.com/
Контакты -> https://example.com/contact

urljoin преобразует относительные ссылки в абсолютные. Фильтр href=True отбрасывает якоря без ссылок.

Пример 4: Обработка вложенных элементов и атрибутов

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/articles'
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'lxml')
articles = soup.select('div.article')
for art in articles:
    title = art.find('h2').get_text(strip=True)
    date = art.find('span', class_='date')['data-time']
    link = art.find('a')['href']
    print(f'{title} | {date} | {link}')

Заголовок статьи | 2025-03-01 | /article/123

Используется комбинация select и find. Атрибуты извлекаются как из словаря (['data-time']).

Пример 5: Работа с кодировкой и нестандартным HTML

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/old-site'
resp = requests.get(url)
resp.encoding = 'cp1251'  # принудительно
soup = BeautifulSoup(resp.text, 'html5lib')
# html5lib лучше справляется с некорректными тегами
content = soup.find('div', id='content').get_text()
print(content)

Текст с русскими символами

Иногда сервер не передаёт правильную кодировку, её можно задать явно. html5lib парсит даже битый HTML, но медленнее.

Пример 6: Постраничный обход с условием остановки

import requests
from bs4 import BeautifulSoup
import time

url = 'https://example.com/page/1'
all_items = []
page = 1
while True:
    resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
    soup = BeautifulSoup(resp.text, 'lxml')
    items = soup.select('.item')
    if not items:
        break
    all_items.extend(items)
    next_page = soup.select_one('a.next')
    if not next_page:
        break
    url = urljoin(url, next_page['href'])
    page += 1
    time.sleep(1)
print(f'Собрано {len(all_items)} элементов')

Собрано 150 элементов

Цикл продолжается, пока есть элементы и ссылка на следующую страницу. Важно обновлять URL и делать паузу.

Пример 7: Извлечение изображений и их атрибутов

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/gallery'
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'html.parser')
for img in soup.find_all('img'):
    src = img.get('src')
    alt = img.get('alt', 'нет описания')
    if src:
        print(f'{alt} -> {src}')

Фото 1 -> /images/1.jpg
Фото 2 -> /images/2.jpg

Используем get для безопасного получения атрибутов. Абсолютный путь можно получить через urljoin.

Пример 8: Парсинг JSONP или JavaScript-вызовов

import requests
import re

url = 'https://example.com/data?callback=myFunc'
resp = requests.get(url)
# Извлекаем JSON из callback
json_text = re.search(r'myFunc\((.*)\)', resp.text).group(1)
import json
data = json.loads(json_text)
print(data['result'])

{'key': 'value'}

Иногда сервер возвращает JSONP. После удаления обёртки мы получаем обычный JSON. Альтернатива – использовать параметр callback с пустым значением.