Сборник рабочих скриптов на Python с подробными инструкциями

Как парсить веб-страницы с динамическим контентом и сохранять результат в структурированном JSON?

Ниже используется selenium для загрузки страницы и BeautifulSoup для извлечения данных. Скрипт собирает заголовки новостей со страницы, которая подгружается через JavaScript.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import json
import time

def scrape_dynamic_news(url):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')  # фоновый режим
    driver = webdriver.Chrome(options=options)
    driver.get(url)
    try:
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, 'news-title'))
        )
    except:
        print('Элементы не загрузились')
        driver.quit()
        return
    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')
    titles = soup.find_all('h2', class_='news-title')
    data = [t.get_text(strip=True) for t in titles]
    driver.quit()
    with open('news.json', 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=2)
    print(f'Сохранено {len(data)} заголовков')

scrape_dynamic_news('https://example.com/news')

Результат (пример содержимого news.json):

[
  "Первая новость",
  "Вторая новость",
  "Третья новость"
]

Как реализовать многопоточное скачивание изображений из списка URL с отображением прогресса?

Используются модули concurrent.futures и requests. Пример загружает 50 изображений параллельно, что значительно ускоряет процесс.

import requests
import concurrent.futures
import os

def download_image(url, folder):
    try:
        response = requests.get(url, timeout=10)
        if response.status_code == 200:
            filename = os.path.join(folder, url.split('/')[-1])
            with open(filename, 'wb') as f:
                f.write(response.content)
            return f"Успешно: {filename}"
        else:
            return f"Ошибка HTTP: {url}"
    except Exception as e:
        return f"Исключение: {url} - {e}"

urls = [f'https://example.com/image{i}.jpg' for i in range(1, 51)]
folder = 'downloaded'
os.makedirs(folder, exist_ok=True)

with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    future_to_url = {executor.submit(download_image, url, folder): url for url in urls}
    for future in concurrent.futures.as_completed(future_to_url):
        result = future.result()
        print(result)

Результат вывода (выборочно):

Успешно: downloaded/image1.jpg
Ошибка HTTP: https://example.com/image30.jpg
Успешно: downloaded/image2.jpg
...

Как создать телеграм-бота для получения погоды через API и отправки сообщения по расписанию?

Используются библиотеки python-telegram-bot и requests. Бот каждое утро отправляет текущую температуру в заданный чат.

import asyncio
from telegram import Bot
from telegram.ext import Application, CommandHandler, ContextTypes
import requests
import schedule

TOKEN = 'ваш_токен'
CHAT_ID = 'ваш_chat_id'
OPENWEATHER_API_KEY = 'ключ_погодного_api'

def get_weather(city='Moscow'):
    url = f'https://api.openweathermap.org/data/2.5/weather?q={city}&appid={OPENWEATHER_API_KEY}&units=metric'
    response = requests.get(url)
    if response.status_code == 200:
        data = response.json()
        temp = data['main']['temp']
        description = data['weather'][0]['description']
        return f'Сейчас в {city}: {temp}°C, {description}'
    return 'Не удалось получить погоду'

async def send_weather(bot):
    text = get_weather()
    await bot.send_message(chat_id=CHAT_ID, text=text)

async def start(update, context):
    await update.message.reply_text('Привет! Я буду присылать погоду каждое утро.')

async def main():
    application = Application.builder().token(TOKEN).build()
    application.add_handler(CommandHandler('start', start))
    # Пример с schedule (запускается отдельно в цикле)
    import time
    while True:
        schedule.run_pending()
        time.sleep(60)

if __name__ == '__main__':
    bot = Bot(token=TOKEN)
    schedule.every().day.at('08:00').do(lambda: asyncio.run(send_weather(bot)))
    asyncio.run(main())

Результат - бот ежедневно в 8:00 отправляет сообщение вида:

Сейчас в Moscow: 5.2°C, облачно с прояснениями

Как автоматически генерировать отчёт в формате HTML из данных БД SQLite с помощью Pandas?

С помощью pandas данные превращаются в красивую таблицу, а jinja2 формирует HTML.

import sqlite3
import pandas as pd
from jinja2 import Template

def generate_report(db_path, template_html):
    conn = sqlite3.connect(db_path)
    df = pd.read_sql_query("SELECT name, age, salary FROM employees WHERE salary > 50000", conn)
    conn.close()
    with open(template_html, 'r') as f:
        template = Template(f.read())
    html_out = template.render(table=df.to_html(classes='table table-striped', index=False))
    with open('report.html', 'w', encoding='utf-8') as f:
        f.write(html_out)
    print('Отчёт сгенерирован: report.html')

generate_report('employees.db', 'template.html')

Пример шаблона template.html:

<html><head><link rel="stylesheet" href="https://cdn.datatables.net/1.10.21/css/jquery.dataTables.min.css"></head><body>
<h2>Сотрудники с зарплатой выше 50 000</h2>
{{ table }}
</body></html>

Результат - файл report.html с полноценной таблицей, готовой к просмотру в браузере.