Определение языка текста в PHP: инструменты и примеры

Расширенные примеры определения языка в PHP

Пример 1: Пакетное определение языка для массива текстов

Обработка нескольких текстов с сохранением результатов в файл.

<?php
require_once 'vendor/autoload.php';

use LanguageDetection\Language;

$texts = [
    'Привет, мир!',
    'Hello, world!',
    'Hola, mundo!',
    'Bonjour tout le monde'
];

$language = new Language();
$results = [];

foreach ($texts as $text) {
    $detection = $language->detect($text)->close();
    $results[] = [
        'text' => mb_substr($text, 0, 20) . '...',
        'language' => $detection[0]['language'],
        'confidence' => round($detection[0]['confidence'], 2)
    ];
}

file_put_contents('results.json', json_encode($results, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT));
echo 'Результаты сохранены в results.json';
?>

Результаты сохранены в results.json

Содержимое results.json:

[
    {
        "text": "Привет, мир!...",
        "language": "ru",
        "confidence": 1
    },
    {
        "text": "Hello, world!...",
        "language": "en",
        "confidence": 1
    },
    {
        "text": "Hola, mundo!...",
        "language": "es",
        "confidence": 1
    },
    {
        "text": "Bonjour tout le ...",
        "language": "fr",
        "confidence": 0.99
    }
]

Пример 2: Определение языка с фильтрацией по списку поддерживаемых языков

Ограничение набора языков для повышения скорости и точности.

<?php
require_once 'vendor/autoload.php';

use LanguageDetection\Language;

// Только английский, немецкий, французский, испанский
$supported = ['en', 'de', 'fr', 'es'];
$language = new Language($supported);

$text = 'Guten Morgen! Wie geht es Ihnen?';
$result = $language->detect($text)->close();
print_r($result);
?>

Array
(
    [0] => Array
        (
            [language] => de
            [confidence] => 0.876
        )
    [1] => Array
        (
            [language] => en
            [confidence] => 0.124
        )
)

Пример 3: Интеграция с кэшированием результатов определения

Избежание повторного анализа одного и того же текста.

<?php
require_once 'vendor/autoload.php';

use LanguageDetection\Language;

function detectLanguageWithCache($text, $cacheFile = 'lang_cache.txt') {
    $hash = md5($text);
    $cache = [];
    if (file_exists($cacheFile)) {
        $cache = json_decode(file_get_contents($cacheFile), true) ?? [];
    }
    if (isset($cache[$hash])) {
        return $cache[$hash];
    }
    $language = new Language();
    $detection = $language->detect($text)->close();
    $result = $detection[0]['language'];
    $cache[$hash] = $result;
    file_put_contents($cacheFile, json_encode($cache, JSON_UNESCAPED_UNICODE));
    return $result;
}

echo detectLanguageWithCache('The quick brown fox'); // en
?>

Пример 4: Обработка ошибок при использовании внешнего API (Google)

Повторные попытки и логирование.

<?php
require_once 'vendor/autoload.php';

use Google\Cloud\Translate\V2\TranslateClient;
use Monolog\Logger;
use Monolog\Handler\StreamHandler;

function detectWithRetry($text, $apiKey, $retries = 3) {
    $logger = new Logger('translator');
    $logger->pushHandler(new StreamHandler('lang_errors.log', Logger::WARNING));
    
    $translate = new TranslateClient(['key' => $apiKey]);
    
    for ($attempt = 1; $attempt <= $retries; $attempt++) {
        try {
            $response = $translate->detectLanguage($text);
            return $response['languageCode'];
        } catch (Exception $e) {
            $logger->warning("Attempt $attempt failed: " . $e->getMessage());
            if ($attempt === $retries) {
                throw $e;
            }
            sleep(2);
        }
    }
}

echo detectWithRetry('Hello', 'your_api_key');
?>

en

Пример 5: Определение языка для файла с поддержкой кодировок

Чтение файла, конвертация в UTF-8 и определение языка.

<?php
require_once 'vendor/autoload.php';

use LanguageDetection\Language;

function detectFromFile($filePath) {
    $content = file_get_contents($filePath);
    if ($content === false) {
        throw new RuntimeException("Cannot read file: $filePath");
    }
    // Определяем кодировку
    $encoding = mb_detect_encoding($content, ['UTF-8', 'Windows-1251', 'ISO-8859-1'], true);
    if ($encoding !== 'UTF-8') {
        $content = mb_convert_encoding($content, 'UTF-8', $encoding);
    }
    $language = new Language();
    $result = $language->detect($content)->close();
    return $result[0]['language'];
}

echo detectFromFile('/path/to/text.txt');
?>

Пример 6: Сравнение производительности библиотек

Тестирование времени выполнения для 1000 коротких текстов.

<?php
require_once 'vendor/autoload.php';

$samples = array_fill(0, 1000, 'This is a sample English text for benchmarking.');

$start = microtime(true);
$language = new Language();
foreach ($samples as $text) {
    $language->detect($text)->close();
}
echo 'patrickschur/language-detection: ' . (microtime(true) - $start) . ' сек.';

// Аналогично для Text_LanguageDetect
?>

patrickschur/language-detection: 0.45 сек.