Обработка русского текста в PHP с UTF-8

Расширенные примеры работы с кириллицей в PHP

Обработка CSV файла с кириллицей в разных кодировках

Пример демонстрирует чтение CSV файла с неизвестной кодировкой, автоопределение и конвертацию всех полей в UTF-8 с последующей записью.

function convertCsvToUtf8($filename, $delimiter = ';') {
    $rows = [];
    $handle = fopen($filename, 'r');
    while (($row = fgetcsv($handle, 0, $delimiter)) !== false) {
        $convertedRow = [];
        foreach ($row as $field) {
            $encoding = mb_detect_encoding($field, ['UTF-8', 'Windows-1251', 'KOI8-R']);
            if ($encoding && $encoding !== 'UTF-8') {
                $field = mb_convert_encoding($field, 'UTF-8', $encoding);
            }
            $convertedRow[] = $field;
        }
        $rows[] = $convertedRow;
    }
    fclose($handle);
    return $rows;
}

$data = convertCsvToUtf8('data.csv');
print_r($data[0]);

Array
(
    [0] => Имя
    [1] => Возраст
    [2] => Город
)

Функция mb_detect_encoding пытается определить кодировку каждого поля. Если она не UTF-8, выполняется конвертация. Важно передавать список возможных кодировок в порядке предпочтения.

Отправка письма с вложением в UTF-8 через mb_send_mail

Пример отправляет письмо с текстовым вложением, содержащим кириллицу.

$to = 'user@example.com';
$subject = 'Документ с кириллицей';
$message = 'Основное тело письма';
$attachment = chunk_split(base64_encode('Содержимое файла на кириллице'));
$boundary = md5(time());

$headers = "From: sender@example.com\r\n";
$headers .= "MIME-Version: 1.0\r\n";
$headers .= "Content-Type: multipart/mixed; boundary=\"$boundary\"\r\n";

$body = "--$boundary\r\n";
$body .= "Content-Type: text/plain; charset=UTF-8\r\n";
$body .= "Content-Transfer-Encoding: 8bit\r\n\r\n";
$body .= $message . "\r\n";
$body .= "--$boundary\r\n";
$body .= "Content-Type: text/plain; name=\"file.txt\"\r\n";
$body .= "Content-Transfer-Encoding: base64\r\n";
$body .= "Content-Disposition: attachment\r\n\r\n";
$body .= $attachment . "\r\n";
$body .= "--$boundary--";

mb_send_mail($to, $subject, $body, $headers);

Тема письма кодируется автоматически. Заголовки и вложение строятся вручную с поддержкой UTF-8.

Работа с JSON: кириллические ключи и значения

По умолчанию json_encode экранирует многобайтовые символы. Использование опции JSON_UNESCAPED_UNICODE сохраняет их как есть.

$data = ['имя' => 'Вася', 'фамилия' => 'Петров'];
$json = json_encode($data, JSON_UNESCAPED_UNICODE);
echo $json;

{"имя":"Вася","фамилия":"Петров"}

Без опции JSON_UNESCAPED_UNICODE результат был бы "\u0438\u043c\u044f", что увеличивает размер и усложняет читаемость.

Обработка URL параметров с кириллицей

Кириллические значения в URL необходимо кодировать через urlencode. При получении - декодировать.

$name = 'Привет';
$encoded = urlencode($name);
echo $encoded; // %D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82

// На стороне получателя
$decoded = urldecode('%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82');
echo $decoded; // Привет

В PHP суперглобальные массивы $_GET и $_POST автоматически декодируют параметры, если скрипт настроен на UTF-8.

Сравнение строк с учётом регистра и локали

Для сравнения кириллических строк без учёта регистра используется mb_strcasecmp. Для сортировки по локали - strcoll.

setlocale(LC_COLLATE, 'ru_RU.UTF-8');
$str1 = 'строка';
$str2 = 'СтрОка';

if (mb_strcasecmp($str1, $str2, 'UTF-8') === 0) {
    echo 'Равны без учёта регистра';
}

$array = ['Б', 'а', 'я', 'ё'];
usort($array, 'strcoll');
print_r($array);

Равны без учёта регистра
Array
(
    [0] => а
    [1] => Б
    [2] => ё
    [3] => я
)

Обратите внимание, что strcoll учитывает локальную сортировку, в которой 'ё' может следовать после 'е' или отдельно, в зависимости от локали.

Конвертация массива строк из Windows-1251 в UTF-8 с помощью iconv

Пример преобразует все строки массива рекурсивно.

function convertArrayToUtf8(array $array, $sourceEncoding = 'Windows-1251') {
    $result = [];
    foreach ($array as $key => $value) {
        if (is_array($value)) {
            $result[$key] = convertArrayToUtf8($value, $sourceEncoding);
        } else {
            $result[$key] = iconv($sourceEncoding, 'UTF-8//IGNORE', $value);
        }
    }
    return $result;
}

$oldData = ['name' => 'Имя', 'items' => ['товар1', 'товар2']];
$newData = convertArrayToUtf8($oldData);
print_r($newData);

Array
(
    [name] => Имя
    [items] => Array
        (
            [0] => товар1
            [1] => товар2
        )
)

Рекурсивная обработка полезна при работе со вложенными данными, например из API или XML.

Использование mb_ereg для замены с кириллицей

mb_ereg_replace - многобайтовый аналог ereg_replace (устаревший), но в современных версиях PHP лучше использовать preg_replace с модификатором u.

$subject = 'Цена: 1000 рублей';
$result = preg_replace('/(\d+)/u', '[[$1]]', $subject);
echo $result; // Цена: [[1000]] рублей

Модификатор u заставляет PCRE интерпретировать строку и шаблон как UTF-8.

Работа с именами файлов в многобайтовой файловой системе

На Linux и macOS имена файлов сохраняются в UTF-8 на уровне системы. Пример поиска всех файлов с кириллицей в имени.

$dir = '/path/to/files';
$files = scandir($dir);
foreach ($files as $file) {
    if (preg_match('/[\x{0400}-\x{04FF}]/u', $file)) {
        echo $file . PHP_EOL;
    }
}

На Windows при сканировании каталога имена могут быть в кодировке, отличной от UTF-8. Рекомендуется использовать функцию mb_convert_encoding для приведения к единой кодировке.

Установка внутренней кодировки и контроль ошибок

Пример проверки, что mbstring включён, и установка кодировки.

if (!extension_loaded('mbstring')) {
    die('Расширение mbstring не загружено. Работа с кириллицей будет ограничена.');
}
if (!mb_internal_encoding('UTF-8')) {
    die('Не удалось установить внутреннюю кодировку UTF-8.');
}
mb_http_output('UTF-8');
ob_start('mb_output_handler');
header('Content-Type: text/html; charset=utf-8');

Использование ob_start('mb_output_handler') автоматически конвертирует весь вывод в UTF-8, если внутренняя кодировка отличается.