Проверка доступности веб-ссылок с помощью PHP: полное руководство с примерами

Расширенные примеры проверки ссылок

Ниже приведены нестандартные, но полезные сценарии с подробным кодом и результатами.

Пример 1. Проверка ссылок с получением времени отклика

function checkUrlWithTiming($url) {
    $ch = curl_init($url);
    curl_setopt_array($ch, [
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_NOBODY => true,
        CURLOPT_TIMEOUT => 10,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_CONNECTTIMEOUT => 5
    ]);
    $start = microtime(true);
    curl_exec($ch);
    $totalTime = microtime(true) - $start;
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $connectTime = curl_getinfo($ch, CURLINFO_CONNECT_TIME);
    curl_close($ch);
    return [
        'url' => $url,
        'http_code' => $httpCode,
        'total_time' => round($totalTime, 3),
        'connect_time' => round($connectTime, 3)
    ];
}

// Пример вызова:
$result = checkUrlWithTiming('https://google.com');
print_r($result);
/* Результат:
Array
(
    [url] => https://google.com
    [http_code] => 200
    [total_time] => 0.425
    [connect_time] => 0.098
)
*/

Пример 2. Пакетная проверка с ограничением параллельных соединений (curl_multi + лимит)

$allUrls = [/* массив из 100 URL */];
$batchSize = 10; // не более 10 одновременных запросов
$results = [];

for ($i = 0; $i < count($allUrls); $i += $batchSize) {
    $batch = array_slice($allUrls, $i, $batchSize);
    
    $mh = curl_multi_init();
    $channels = [];
    foreach ($batch as $id => $url) {
        $ch = curl_init($url);
        curl_setopt_array($ch, [
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_NOBODY => true,
            CURLOPT_TIMEOUT => 10
        ]);
        curl_multi_add_handle($mh, $ch);
        $channels[$id] = $ch;
    }
    
    $active = null;
    do {
        $status = curl_multi_exec($mh, $active);
        curl_multi_select($mh);
    } while ($active > 0);
    
    foreach ($channels as $id => $ch) {
        $code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        $results[] = [
            'url' => $batch[$id],
            'http_code' => $code,
            'ok' => $code >= 200 && $code < 400
        ];
        curl_multi_remove_handle($mh, $ch);
        curl_close($ch);
    }
    curl_multi_close($mh);
}

echo "Проверено: " . count($results) . " URL";
/* Результат: массив результатов для каждого URL */

Пример 3. Проверка ссылок с авторизацией (Basic Auth)

$url = 'https://httpbin.org/basic-auth/user/pass';
$ch = curl_init($url);
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_NOBODY => true,
    CURLOPT_USERPWD => 'user:pass',
    CURLOPT_HTTPAUTH => CURLAUTH_BASIC
]);
curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
echo "HTTP код: $code"; // 200 при верных учётных данных, 401 иначе

Пример 4. Обработка относительных ссылок и преобразование в абсолютные

function resolveUrl($base, $relative) {
    $base = rtrim($base, '/');
    if (preg_match('#^https?://#i', $relative)) {
        return $relative;
    }
    if (strpos($relative, '/') === 0) {
        $parsed = parse_url($base);
        return $parsed['scheme'] . '://' . $parsed['host'] . $relative;
    }
    // иначе конкатенация
    return $base . '/' . ltrim($relative, '/');
}

$baseUrl = 'https://example.com/some/page';
$relative = '../other/page.html';
$absolute = resolveUrl($baseUrl, $relative);
echo $absolute;
// Результат: https://example.com/other/page.html

Пример 5. Использование HEAD-запроса с fallback на GET

function checkUrlSmart($url) {
    $ch = curl_init($url);
    curl_setopt_array($ch, [
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_NOBODY => true,
        CURLOPT_TIMEOUT => 10,
        CURLOPT_FOLLOWLOCATION => true
    ]);
    $result = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    
    // Если HEAD не поддерживается (405 Method Not Allowed), пробуем GET
    if ($httpCode == 405) {
        curl_setopt($ch, CURLOPT_NOBODY, false);
        curl_setopt($ch, CURLOPT_RANGE, '0-0'); // запросить только первый байт
        curl_exec($ch);
        $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    }
    curl_close($ch);
    return $httpCode;
}

echo checkUrlSmart('https://httpbin.org/status/405'); // может вернуть 405 или 200

Пример 6. Проверка ссылок с прокси (для обхода блокировок)

$ch = curl_init('https://example.com');
curl_setopt_array($ch, [
    CURLOPT_PROXY => 'http://proxy.example.com:8080',
    CURLOPT_PROXYUSERPWD => 'user:pass',
    CURLOPT_PROXYTYPE => CURLPROXY_HTTP,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_NOBODY => true
]);
curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
echo "Через прокси: код $code";
curl_close($ch);

Пример 7. Получение заголовков ответа для глубокого анализа

$ch = curl_init('https://example.com');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HEADER => true,
    CURLOPT_NOBODY => false,
    CURLOPT_TIMEOUT => 10
]);
$response = curl_exec($ch);
$headerSize = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$headers = substr($response, 0, $headerSize);
$body = substr($response, $headerSize);
curl_close($ch);

echo "Заголовки:\n$headers";
echo "Тело (первые 100 символов): " . substr($body, 0, 100);