Работа с Unicode в Python: от кода к символу и обратно

Расширенные примеры работы с Unicode в Python

Пример 1: Создание и анализ эмодзи (суррогатные пары)

Эмодзи, такие как ? (фейерверк), могут находиться за пределами базовой плоскости Unicode и требуют двух 16-битных значений (суррогатную пару) при использовании кодировки UTF-16. В Python 3 строки внутренне хранятся в виде последовательности кодовых точек (возможно, с использованием суррогатных пар для символов за пределами BMP), но при работе с len() возвращается количество символов Unicode, а не количество суррогатных пар.

# Эмодзи '?' (U+1F389)
em = '?'
print('Символ:', em)
print('Длина строки:', len(em))  # 1 (одна кодовая точка)
print('Код символа:', hex(ord(em)))  # 0x1f389

# Прямое создание через escape
em2 = '\U0001F389'
print('Из эскейпа:', em2)

# Проверка на эмодзи с помощью категории
import unicodedata
print('Категория:', unicodedata.category(em))  # 'So' (Symbol Other)

# Ошибка: попытка записать эмодзи через \u (только 4 цифры)
# \u1F389 вызовет SyntaxError, поэтому используем \U
  

Символ: ?
Длина строки: 1
Код символа: 0x1f389
Из эскейпа: ?
Категория: So
  

Пример 2: Обработка ошибок кодирования (параметр errors)

При кодировании строки в кодировку, которая не может представить все символы, возникает исключение. Параметр errors позволяет управлять поведением: 'ignore' пропускает недопустимые символы, 'replace' заменяет их на '?', 'xmlcharrefreplace' заменяет на XML-сущность, 'backslashreplace' использует escape-последовательности.

text = 'Символ © и €'

# Кодирование в ASCII с обработкой ошибок
ascii_ignore = text.encode('ascii', errors='ignore')
print('ignore:', ascii_ignore)

ascii_replace = text.encode('ascii', errors='replace')
print('replace:', ascii_replace)

ascii_xml = text.encode('ascii', errors='xmlcharrefreplace')
print('xmlcharrefreplace:', ascii_xml)

ascii_backslash = text.encode('ascii', errors='backslashreplace')
print('backslashreplace:', ascii_backslash)
  

ignore: b'\xd0\xa1\xd0\xb8\xd0\xbc\xd0\xb2\xd0\xbe\xd0\xbb  \xd0\xb8 '
replace: b'\xd0\xa1\xd0\xb8\xd0\xbc\xd0\xb2\xd0\xbe\xd0\xbb ? ?'
xmlcharrefreplace: b'\xd0\xa1\xd0\xb8\xd0\xbc\xd0\xb2\xd0\xbe\xd0\xbb © €'
backslashreplace: b'\xd0\xa1\xd0\xb8\xd0\xbc\xd0\xb2\xd0\xbe\xd0\xbb \\xa9 \\u20ac'
  

Пример 3: Нормализация и сравнение строк с акцентами

Строки могут быть визуально идентичны, но иметь разные формы нормализации. Функция unicodedata.normalize() помогает привести их к единой форме для сравнения.

import unicodedata

s1 = 'café'  # составная форма é (U+00E9)
s2 = 'cafe\u0301'  # разложенная форма e + комбинирующий акут

print('s1:', repr(s1), 's2:', repr(s2))
print('Равны ли s1 и s2?', s1 == s2)  # False

# Нормализуем обе к NFC
n1 = unicodedata.normalize('NFC', s1)
n2 = unicodedata.normalize('NFC', s2)
print('После NFC:', n1 == n2)  # True

# Нормализуем к NFD (все разложено)
n1_nfd = unicodedata.normalize('NFD', s1)
n2_nfd = unicodedata.normalize('NFD', s2)
print('После NFD:', n1_nfd == n2_nfd)  # True
  

s1: 'café' s2: 'café'
Равны ли s1 и s2? False
После NFC: True
После NFD: True
  

Пример 4: Перебор всех символов по категории (например, найти все знаки валют)

Можно отфильтровать символы по категории, используя unicodedata.category(). В этом примере собираются все символы из диапазона, относящиеся к категории 'Sc' (Currency Symbol).

import unicodedata

currency_symbols = []
for code in range(0x20A0, 0x20D0):  # блок валютных знаков
    char = chr(code)
    if unicodedata.category(char) == 'Sc':
        currency_symbols.append(char)
print('Некоторые символы валют:', currency_symbols[:10])

# Также можно проверить принадлежность с помощью класса 'Currency Symbol' в regex
import regex
pattern = r'\p{Sc}'
all_in_range = ''.join(chr(c) for c in range(0x20A0, 0x20D0))
found = regex.findall(pattern, all_in_range)
print('Из regex:', found[:10])
  

Некоторые символы валют: ['₠', '₡', '₢', '₣', '₤', '₥', '₦', '₧', '₨', '₩']
Из regex: ['₠', '₡', '₢', '₣', '₤', '₥', '₦', '₧', '₨', '₩']
  

Пример 5: Использование escape-последовательностей для редко используемых символов

Для вставки символов с известным кодом, но сложно вводимых с клавиатуры, применяют \u или \U. Также возможно комбинировать с именованными ссылками.

# Символ '∑' (сумма) U+2211
sigma_sum = '\u2211'
print('Сумма:', sigma_sum)

# Символ '♥' (червы) U+2665
heart = '\u2665'
print('Сердце:', heart)

# Символ из дополнительной плоскости: '?' (летающая тарелка) U+1F6F8
ufo = '\U0001F6F8'
print('UFO:', ufo)

# Можно использовать с f-строками (код динамически)
code = 0x1F600  # ?
emoticon = f'{chr(code)}'
print('Смайлик:', emoticon)
  

Сумма: ∑
Сердце: ♥
UFO: ?
Смайлик: ?