Извлечение HTML через cURL в PHP: от простого к сложному

Расширенные примеры использования cURL

1. POST запрос с JSON и обработка ответа

$url = 'https://api.example.com/items';
$data = json_encode(['name' => 'New Item', 'price' => 100]);
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    'Content-Type: application/json',
    'Authorization: Bearer token123'
]);
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
echo 'HTTP код: ' . $httpCode . "\n";
echo 'Ответ: ' . $response . "\n";

HTTP код: 201
Ответ: {"id":42,"name":"New Item","price":100}

2. Загрузка нескольких страниц с помощью curl_multi (вывод времени)

$urls = [
    'https://httpbin.org/delay/2',
    'https://httpbin.org/delay/1',
    'https://httpbin.org/delay/3'
];
$mh = curl_multi_init();
$handles = [];
$start = microtime(true);
foreach ($urls as $i => $url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    curl_multi_add_handle($mh, $ch);
    $handles[$i] = $ch;
}
$running = null;
do {
    curl_multi_exec($mh, $running);
    curl_multi_select($mh);
} while ($running);
$results = [];
foreach ($handles as $i => $ch) {
    $results[$i] = curl_multi_getcontent($ch);
    curl_multi_remove_handle($mh, $ch);
    curl_close($ch);
}
curl_multi_close($mh);
$time = microtime(true) - $start;
echo 'Общее время: ' . round($time, 2) . ' сек.\n';
// Вывод длины каждого ответа
foreach ($results as $i => $content) {
    echo "URL $i: " . strlen($content) . " байт\n";
}

Общее время: 3.01 сек.
URL 0: 253 байт
URL 1: 253 байт
URL 2: 253 байт

3. Отправка запроса с Digest-аутентификацией

$ch = curl_init('https://example.com/protected');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);
curl_setopt($ch, CURLOPT_USERPWD, 'username:password');
$html = curl_exec($ch);
curl_close($ch);
echo $html;

Результат: содержимое защищенной страницы.

4. Использование пользовательского таймаута на чтение и прогресс-бар

$ch = curl_init('https://example.com/largefile');
$fp = fopen('/dev/null', 'w');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_NOPROGRESS, false);
curl_setopt($ch, CURLOPT_PROGRESSFUNCTION, function($resource, $downloadSize, $downloaded, $uploadSize, $uploaded) {
    if ($downloadSize > 0) {
        $percent = round($downloaded / $downloadSize * 100, 2);
        echo "Загружено: $percent%\n";
    }
});
curl_exec($ch);
fclose($fp);
curl_close($ch);

Данный пример записывает данные в /dev/null (для теста) и отображает прогресс.

5. Запрос через SOCKS5 прокси

$ch = curl_init('https://httpbin.org/ip');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_PROXY, 'socks5://127.0.0.1:9050');
$result = curl_exec($ch);
curl_close($ch);
echo $result;

{"origin": "192.168.1.1"}

6. Отправка файла через multipart/form-data

$ch = curl_init('https://example.com/upload');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
$post = [
    'file' => new CURLFile('/path/to/photo.jpg', 'image/jpeg', 'photo.jpg'),
    'caption' => 'My photo'
];
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
$response = curl_exec($ch);
curl_close($ch);
echo $response;

Цель: загрузка изображений или документов.

7. Получение HTML с куками и сессией (имитация входа)

$cookieFile = tempnam(sys_get_temp_dir(), 'cookies');
// Первый запрос - получение формы и кук
$ch = curl_init('https://example.com/login');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile);
$loginPage = curl_exec($ch);
curl_close($ch);
// Извлекаем CSRF токен (упрощенно)
preg_match('/ 'user',
    'password' => 'pass',
    'csrf_token' => $csrfToken
]));
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile);
$result = curl_exec($ch);
curl_close($ch);
// Теперь $result содержит HTML после логина
unlink($cookieFile);

8. Обработка сжатия gzip/deflate

$ch = curl_init('https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_ENCODING, ''); // пустая строка - все типы сжатия
$html = curl_exec($ch);
curl_close($ch);
echo strlen($html) . ' байт';

cURL автоматически распакует ответ.