Как получить файл из интернета с помощью Python: примеры кода

Продвинутые техники загрузки файлов

Загрузка с возобновлением после обрыва (Range)

Для докачки файла используется HTTP-заголовок Range, который указывает серверу, с какого байта продолжить. Ниже приведён пример, который проверяет, существует ли уже частично скачанный файл, и при необходимости продолжает загрузку.

import requests
import os

url = "https://example.com/largefile.bin"
local_path = "largefile.bin"

resume_header = {}
if os.path.exists(local_path):
    resume_header["Range"] = f"bytes={os.path.getsize(local_path)}-"

with requests.get(url, headers=resume_header, stream=True) as r:
    if r.status_code == 416:  # Range Not Satisfiable - файл уже полностью скачан
        print("Файл уже загружен полностью.")
    else:
        mode = "ab" if os.path.exists(local_path) else "wb"
        with open(local_path, mode) as f:
            for chunk in r.iter_content(chunk_size=8192):
                f.write(chunk)
        print("Загрузка завершена.")

Вывод (пример):
Файл уже загружен полностью.
- или -
Загрузка завершена.

Пояснение: если сервер поддерживает докачку (код 206 Partial Content), он вернёт только недостающие байты. Код 416 означает, что файл уже скачан целиком. Данный метод требует поддержки Range сервером.

Многопоточная загрузка частей файла

Для ускорения можно разбить файл на несколько частей и загружать их параллельно, а затем собрать. Это особенно эффективно на высокоскоростных каналах, где узким местом является задержка соединения.

import requests
from concurrent.futures import ThreadPoolExecutor, as_completed
import os

url = "https://example.com/bigfile.bin"
num_threads = 4
chunk_size = 1024 * 1024 * 10  # 10 MB

def download_chunk(start, end, i):
    headers = {"Range": f"bytes={start}-{end - 1}"}
    with requests.get(url, headers=headers, stream=True) as r:
        with open(f"part_{i}", "wb") as f:
            for chunk in r.iter_content(chunk_size=8192):
                f.write(chunk)

# Получить общий размер
resp_head = requests.head(url)
total_size = int(resp_head.headers["content-length"])

ranges = []
for i in range(num_threads):
    start = i * (total_size // num_threads)
    end = total_size if i == num_threads - 1 else (i + 1) * (total_size // num_threads)
    ranges.append((start, end, i))

with ThreadPoolExecutor(max_workers=num_threads) as executor:
    futures = [executor.submit(download_chunk, *r) for r in ranges]
    for future in as_completed(futures):
        future.result()  # проверяем ошибки

# Собрать части
with open("bigfile.bin", "wb") as out:
    for i in range(num_threads):
        with open(f"part_{i}", "rb") as part:
            out.write(part.read())
        os.remove(f"part_{i}")

print("Файл собран из частей.")

Вывод:
Файл собран из частей.

Пояснение: каждый поток качает свой диапазон байтов. После завершения всех потоков части объединяются в итоговый файл. Этот метод требует поддержки Range на сервере и увеличивает нагрузку на сеть.

Загрузка через прокси-сервер с аутентификацией

Библиотека requests позволяет указать прокси, в том числе с логином и паролем. Это часто требуется в корпоративных сетях.

import requests

proxies = {
    "http": "http://user:password@proxy.company.com:8080",
    "https": "http://user:password@proxy.company.com:8080"
}

url = "https://example.com/file.pdf"
response = requests.get(url, proxies=proxies, stream=True, timeout=30)
response.raise_for_status()
with open("file.pdf", "wb") as f:
    for chunk in response.iter_content(chunk_size=4096):
        f.write(chunk)
print("Файл скачан через прокси.")

Вывод:
Файл скачан через прокси.

Пояснение: прокси задаются в виде словаря, где ключ - протокол, значение - адрес прокси. Если прокси не требует аутентификации, логин и пароль можно опустить. Для больших файлов также используйте stream=True.