Работа с HTTP в PHP: получение HTML данных из сети

Раздел: Веб-программирование -> Работа с HTML

Способы получения HTML контента в PHP

Как эффективно загрузить HTML страницу с настройками таймаута и обработкой ошибок?

Наиболее гибкое и надёжное решение - использование расширения cURL. Оно позволяет управлять заголовками, таймаутами, редиректами, сертификатами SSL и многим другим. Подходит для любых задач: от простого получения страницы до сложных API-запросов с авторизацией.


<?php
$ch = curl_init('https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html = curl_exec($ch);
if (curl_errno($ch)) {
    $error = curl_error($ch);
    echo "Ошибка cURL: $error";
}
curl_close($ch);
echo $html;
?>

Php get html content (получение html контента в php)

В примере инициализируется сессия, задаётся URL, включается автоматическое следование по редиректам (CURLOPT_FOLLOWLOCATION), время ожидания 10 секунд, и результат возвращается в переменную. При ошибке выводится сообщение.

Типичные проблемы:

  • SSL ошибки - решаются установкой CURLOPT_SSL_VERIFYPEER = false (не рекомендуется для продакшена).
  • Пустой результат из-за отсутствия CURLOPT_RETURNTRANSFER - функция возвращает true вместо содержимого.
  • Таймауты при медленных серверах - увеличивать CURLOPT_TIMEOUT.
  • Блокировка User-Agent - добавить CURLOPT_USERAGENT.

Как получить HTML простой страницы без внешних расширений?

Встроенная функция file_get_contents() - самый короткий путь для загрузки HTML. Работает с протоколом http://, https://, ftp://. Подходит для простых сценариев, где не нужны заголовки или обработка редиректов.


<?php
$html = @file_get_contents('https://example.com');
if ($html === false) {
    echo "Не удалось загрузить страницу";
} else {
    echo $html;
}
?>

Обратите внимание на оператор подавления ошибок (@) - он скрывает предупреждения. Лучше использовать контекст потока.


<?php
$opts = [
    'http' => [
        'method' => 'GET',
        'timeout' => 10,
        'user_agent' => 'Mozilla/5.0'
    ]
];
$context = stream_context_create($opts);
$html = file_get_contents('https://example.com', false, $context);
?>

Ограничения:

  • Не работает с редиректами по умолчанию - нужна настройка follow_location в контексте.
  • Нет управления таймаутом соединения (только общий таймаут).
  • Ошибки HTTP (404, 500) не отслеживаются - возвращается содержимое с кодом ошибки.
  • Не подходит для больших файлов из-за потребления памяти.

Как реализовать низкоуровневое получение HTML с помощью сокетов?

Функция fsockopen() позволяет вручную формировать HTTP запросы и читать ответы. Используется редко, но полезна для понимания протокола или в средах без cURL.


<?php
$fp = @fsockopen('ssl://example.com', 443, $errno, $errstr, 10);
if (!$fp) {
    echo "$errstr ($errno)";
} else {
    $out = "GET / HTTP/1.1\r\n";
    $out .= "Host: example.com\r\n";
    $out .= "Connection: Close\r\n\r\n";
    fwrite($fp, $out);
    $response = '';
    while (!feof($fp)) {
        $response .= fgets($fp, 128);
    }
    fclose($fp);
    list($headers, $body) = explode("\r\n\r\n", $response, 2);
    echo $body;
}
?>

Требуется указать протокол (ssl:// для HTTPS). Ответ включает заголовки - их нужно отделить от тела.

Сложности:

  • Работа с chunked transfer encoding требует дополнительного разбора.
  • Нет автоматического распознавания кодировки.
  • Ошибки соединения обрабатываются вручную.
  • Неэффективен для частых запросов.

Как использовать мощную библиотеку Guzzle для HTTP запросов?

Guzzle - PSR-7 совместимая библиотека с объектно-ориентированным интерфейсом. Устанавливается через Composer. Подходит для сложных проектов, где нужны очереди, асинхронность, обработка куки, сессий.


composer require guzzlehttp/guzzle
    

<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;

$client = new Client([
    'base_uri' => 'https://example.com',
    'timeout'  => 10,
]);

try {
    $response = $client->get('/');
    $html = $response->getBody()->getContents();
    echo $html;
} catch (\GuzzleHttp\Exception\GuzzleException $e) {
    echo 'Ошибка: ' . $e->getMessage();
}
?>

Клиент настраивается глобально, запросы выполняются через методы get(), post() и т.д. Исключения обрабатывают ошибки HTTP.

Недостатки:

  • Требуется менеджер пакетов Composer и дополнительная зависимость.
  • Избыточен для простого получения одной страницы.
  • Большой размер библиотеки.

Расширенные примеры и нестандартные сценарии

Пример 

<?php
// Пример 1: Асинхронная загрузка через Guzzle с promise
require 'vendor/autoload.php';

use GuzzleHttp\Client;
use GuzzleHttp\Promise;

$client = new Client(['timeout' => 30]);
$urls = ['https://site1.com', 'https://site2.com', 'https://site3.com'];

$promises = [];
foreach ($urls as $url) {
    $promises[$url] = $client->getAsync($url);
}

$results = Promise\settle($promises)->wait();

foreach ($results as $url => $result) {
    if ($result['state'] === 'fulfilled') {
        $html = $result['value']->getBody();
        echo "$url: получено " . strlen($html) . " байт\n";
    } else {
        echo "$url: ошибка - " . $result['reason']->getMessage() . "\n";
    }
}
?>

https://site1.com: получено 4523 байт
https://site2.com: получено 10234 байт
https://site3.com: ошибка - cURL error 28: Connection timed out
Пример 

<?php
// Пример 2: Загрузка через прокси с аутентификацией (cURL)
$ch = curl_init('https://api.example.com');
curl_setopt($ch, CURLOPT_PROXY, 'http://proxy.example.com:8080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:pass');
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$result = curl_exec($ch);
curl_close($ch);
echo $result;
?>

[HTML ответ от API через прокси]
Пример 

<?php
// Пример 3: Обработка chunked transfer encoding вручную (fsockopen)
$fp = fsockopen('example.com', 80);
fwrite($fp, "GET /large HTTP/1.1\r\nHost: example.com\r\nAccept-Encoding: identity\r\nConnection: close\r\n\r\n");
$body = '';
while (!feof($fp)) {
    $line = fgets($fp);
    if ($line === "\r\n") break; // конец заголовков
}
while (!feof($fp)) {
    $line = trim(fgets($fp));
    if ($line === '') break; // конец чанка
    $chunkSize = hexdec($line);
    $chunk = '';
    if ($chunkSize > 0) {
        $chunk = fread($fp, $chunkSize);
        fread($fp, 2); // пропускаем CRLF
    }
    $body .= $chunk;
}
fclose($fp);
echo $body;
?>

[полное содержимое page, собранное из чанков]
Пример 

<?php
// Пример 4: Получение HTML с авторизацией Basic Auth (cURL)
$ch = curl_init('https://private.example.com');
curl_setopt($ch, CURLOPT_USERPWD, 'admin:secret');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);
echo $html;
?>

[HTML, доступный только авторизованным пользователям]
Пример 

<?php
// Пример 5: Использование stream_context с кастомным заголовком Referer
$opts = [
    'http' => [
        'header' => "Referer: https://www.google.com\r\nUser-Agent: MyBot/1.0"
    ]
];
$context = stream_context_create($opts);
$html = file_get_contents('https://example.com', false, $context);
echo $html;
?>

[HTML, возможно, без проверки referer]
Пример 

<?php
// Пример 6: Загрузка только заголовков ответа для проверки доступности (cURL без тела)
$ch = curl_init('https://example.com');
curl_setopt($ch, CURLOPT_NOBODY, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
echo "HTTP код: $httpCode";
?>

HTTP код: 200

Получение HTML контента в PHP - comments

En
Php get html content (php)