Сравнение строк, ASCII, Unicode, ord() и chr() в Python

Обновлено:

1. Сравнение строк

К строкам можно применять операторы сравнения:

>
>=
<
<=
==
!=

С равенством и неравенством мы уже знакомы:

'Python' == 'Python'

Результат:

True
'Python' != 'python'

Результат:

True

Строки также можно сравнивать с помощью операторов порядка.


2. Первые примеры

'a' > 'A'

Результат:

True
'z' > 'b'

Результат:

True
'B' > 'A'

Результат:

True

На первый взгляд может быть непонятно, почему одна буква считается больше другой.

Для ответа на этот вопрос нужно познакомиться с числовыми кодами символов.


Функция ord()

3. Что делает ord()

Встроенная функция:

ord()

принимает строку, состоящую ровно из одного символа, и возвращает числовой код этого символа в Unicode.

Общий вид:

ord(character)

Результатом является объект класса int.


4. Коды латинских букв

ord('a')

Результат:

97
ord('A')

Результат:

65

У маленькой латинской буквы a код больше:

97 > 65

Поэтому:

'a' > 'A'

возвращает:

True

5. Другие символы

Код пробела:

ord(' ')

Результат:

32

Код восклицательного знака:

ord('!')

Результат:

33

Код цифры, записанной как символ строки:

ord('0')

Результат:

48
ord('9')

Результат:

57

6. ord() принимает один символ

Правильно:

ord('A')

Неправильно передавать пустую строку:

ord('')

Неправильно передавать строку из нескольких символов:

ord('ABC')

Оба неправильных вызова приведут к ошибке:

TypeError

Для функции ord() длина строки должна быть равна единице.


7. Что такое кодовая точка

Число, которое возвращает ord(), называется кодовой точкой Unicode:

Unicode code point

Каждому закодированному символу назначено определённое число.

Например:

'A' → 65
'a' → 97
'А' → 1040
'а' → 1072
'😀' → 128512

Python использует Unicode для представления символов в объектах класса str.


Таблица ASCII

8. Для чего появилась ASCII

В первые годы развития вычислительной техники разные устройства могли использовать разные числовые коды для одних и тех же символов.

ASCII была создана в США в 1960-х годах, чтобы стандартизировать представление латинских букв, цифр, знаков пунктуации и управляющих команд при обмене данными.

Первая версия стандарта была опубликована в 1963 году, а позднее стандарт несколько раз пересматривался.

Название расшифровывается как:

American Standard Code for Information Interchange

9. ASCII является 7-битной кодировкой

Стандартная ASCII содержит 128 кодовых позиций:

0–127

Количество возможных комбинаций семи бит:

2 ** 7 = 128

Поэтому ASCII называют 7-битной кодировкой.

Каждый код ASCII можно представить не более чем семью двоичными разрядами.

Например, код большой буквы A:

65

в двоичной системе:

1000001

Если записать его в виде восьми бит, слева добавится ноль:

01000001

Это не означает, что Python хранит каждый строковый объект ровно в семи битах. Речь идёт только о диапазоне числовых кодов стандарта ASCII.


10. Единой 8-битной ASCII не существует

Стандартная ASCII — это именно 7-битная таблица с кодами от 0 до 127.

Выражением «расширенная ASCII» часто называют различные 8-битные кодировки, использующие диапазон от 128 до 255.

Однако единой универсальной 8-битной ASCII нет. Существовали разные несовместимые кодовые страницы, в которых одним и тем же числам могли соответствовать разные символы. Unicode отдельно отмечает, что название ASCII нередко ошибочно применяют к таким 8-битным кодировкам.

Python не использует «расширенную ASCII» в качестве основной модели строк. Объекты str в Python работают с Unicode.


11. Структура таблицы ASCII

В ASCII находятся коды от 0 до 127.

Упрощённо таблица устроена так:

0–31     управляющие коды
32       пробел
33–47    знаки пунктуации
48–57    цифры 0–9
58–64    знаки пунктуации
65–90    большие латинские буквы A–Z
91–96    знаки пунктуации
97–122   маленькие латинские буквы a–z
123–126  знаки пунктуации
127      управляющий код DELETE

Коды 0–31 и 127 являются управляющими. Большинство из них не изображает видимый символ, а исторически использовалось для управления передачей и обработкой данных.


12. Последовательность символов ASCII

Для сравнения строк особенно важно запомнить порядок:

цифры
большие латинские буквы
маленькие латинские буквы

То есть:

'0'–'9' → 48–57
'A'–'Z' → 65–90
'a'–'z' → 97–122

Внутри каждой группы символы расположены последовательно.

Например:

ord('A')
ord('B')
ord('C')

Результат:

65
66
67
ord('a')
ord('b')
ord('c')

Результат:

97
98
99

13. Символ и системы счисления

У символа не существует нескольких разных кодов в зависимости от системы счисления.

Есть одно числовое значение, которое можно по-разному записать.

Например, код символа A:

десятичная запись:      65
двоичная запись:        0b1000001
восьмеричная запись:    0o101
шестнадцатеричная:      0x41

Во всех случаях речь идёт об одном числе.

Подробно системы счисления будут изучаться отдельно. На этом уроке используем обычную десятичную запись.


Unicode

14. Зачем нужен Unicode

ASCII содержит только небольшой набор символов, которого недостаточно для русского, грузинского, японского и большинства других языков.

Unicode — международный стандарт, предназначенный для представления текстов разных языков, знаков пунктуации, математических символов, технических обозначений и эмодзи.

Python использует Unicode для объектов класса str, благодаря чему в одной программе можно работать с символами разных письменностей.


15. Размер Unicode

Диапазон возможных кодовых точек Unicode:

0–1_114_111

В шестнадцатеричной записи:

U+0000–U+10FFFF

Этот диапазон содержит более 1,1 миллиона возможных значений, но не все они назначены символам.

Unicode 17.0 содержит 159 801 закодированный символ. Стандарт продолжает развиваться, поэтому в будущих версиях количество символов может увеличиваться.


16. Unicode начинается с ASCII

Первые 128 кодовых точек Unicode полностью соответствуют ASCII:

U+0000–U+007F

Поэтому:

ord('A')

возвращает 65 и в контексте ASCII, и в Unicode.

Первые 256 кодовых позиций Unicode следуют расположению Latin-1, а первые 128 из них занимает стандартная 7-битная ASCII.


17. Таблицы символов

Для изучения ASCII можно использовать интерактивную таблицу ASCII Code, где представлены десятичные, двоичные, восьмеричные и шестнадцатеричные записи кодов.

Для поиска блоков Unicode и отдельных символов можно использовать таблицу Symbl. Например, блок кириллицы находится в диапазоне:

U+0400–U+04FF

Официальные таблицы символов публикует Unicode Consortium.


18. Кириллица

Коды основных русских заглавных букв:

'А' → 1040
'Б' → 1041
'В' → 1042
...
'Я' → 1071

Коды основных строчных букв:

'а' → 1072
'б' → 1073
'в' → 1074
...
'я' → 1103

Проверим:

print(ord('А'))
print(ord('а'))

Результат:

1040
1072

Основной блок кириллицы занимает диапазон U+0400–U+04FF.


19. Буквы Ё и ё

Коды букв:

print(ord('Ё'))
print(ord('ё'))

Результат:

1025
1105

Буквы Ё и ё находятся в том же блоке кириллицы, но не входят в непрерывные диапазоны:

А–Я
а–я

Поэтому программа, которая обрабатывает только диапазон от А до Я, не захватит букву Ё.

Если буква Ё должна учитываться, её часто приходится добавлять в проверку отдельно.


20. Эмодзи в Unicode

Unicode содержит и эмодзи:

message = 'Привет! 😀'

print(message)

Результат:

Привет! 😀

Можно получить код эмодзи:

ord('😀')

Результат:

128512

Python позволяет работать с такими символами как с элементами строк.


Как Python сравнивает строки

21. Лексикографическое сравнение

Python сравнивает строки лексикографически.

Это похоже на сравнение слов по порядку символов:

  1. сравниваются первые символы;
  2. если они равны, сравниваются вторые;
  3. затем третьи;
  4. сравнение продолжается до первого различающегося символа;
  5. больше считается строка, у которой код первого различающегося символа больше.

При сравнении используются числовые кодовые точки Unicode, которые возвращает ord().


22. Сравнение регистра

'a' > 'A'

Python сравнивает:

ord('a')
ord('A')

Результаты:

97
65

Так как:

97 > 65

результат сравнения:

True

В таблице Unicode латинские заглавные буквы расположены раньше строчных.


23. Сравнение букв одного регистра

'z' > 'b'

Коды:

print(ord('z'))
print(ord('b'))

Результат:

122
98

Поэтому:

'z' > 'b'

возвращает:

True

24. Сравнение нескольких символов

'cat' > 'car'

Первые два символа равны:

c == c
a == a

Отличаются третьи символы:

t
r

Код t больше кода r, поэтому:

'cat' > 'car'

Результат:

True

25. Первый различающийся символ решает результат

Сравним:

'AAZZZZZZ' > 'AB'

Первые символы равны:

A == A

Вторые символы:

A < B

Поэтому вся первая строка меньше:

'AAZZZZZZ' > 'AB'

Результат:

False

А:

'AB' > 'AAZZZZZZ'

возвращает:

True

Оставшиеся буквы Z уже не проверяются: результат определился на втором символе.


26. Длина не является главным критерием

Неправильно считать, что более длинная строка всегда больше.

'ZZ' > 'AAAAAAAAAAAA'

Результат:

True

Первый символ Z больше первого символа A.

Количество оставшихся символов значения уже не имеет.


27. Когда длина имеет значение

Длина учитывается, если одна строка полностью является началом другой.

'Python' < 'Pythonista'

Результат:

True

Все символы короткой строки совпали с началом длинной строки.

В такой ситуации более короткая строка считается меньшей.

Ещё пример:

'AA' < 'AAA'

Результат:

True

28. Сравнение чисел и строк с цифрами

Числа сравниваются по математическому значению:

10 > 9

Результат:

True

Строки сравниваются по кодам символов:

'10' > '9'

Результат:

False

Сначала сравниваются:

'1' и '9'

Их коды:

print(ord('1'))
print(ord('9'))

Результат:

49
57

Так как 49 < 57, строка '10' считается меньше строки '9'.


29. Числовое содержимое строки не превращает её в число

'1000' < '9'

Результат:

True

Python не воспринимает строки как числа.

Он видит последовательности символов:

'1', '0', '0', '0'
'9'

Уже первый символ определяет результат.

Для математического сравнения строки сначала нужно преобразовать в числа:

int('1000') > int('9')

Результат:

True

30. Сравнение русских букв

'а' > 'А'

Коды:

print(ord('а'))
print(ord('А'))

Результат:

1072
1040

Поэтому результат сравнения:

True

Это похоже на расположение латинских букв: основные заглавные русские буквы находятся раньше основных строчных.


31. Порядок Unicode — не всегда алфавитный порядок языка

Python по умолчанию сравнивает строки по кодовым точкам, а не по правилам словаря конкретного языка.

Например:

'Ё' < 'А'

Результат:

True

Потому что:

ord('Ё')

возвращает 1025, а:

ord('А')

возвращает 1040.

В русском алфавите Ё находится после Е, но числовой порядок Unicode устроен иначе.

Поэтому стандартное сравнение Python является техническим лексикографическим сравнением, а не полноценной алфавитной сортировкой для любого языка.


Функция max()

32. Получение большей строки

Функция max() может сравнить несколько строк и вернуть наибольшую:

max('Python', 'Java')

Результат:

'Python'

Сравниваются первые символы:

P > J

Поэтому строка 'Python' считается больше.


33. Первый различающийся символ в max()

max('AAZZZZZZ', 'AB')

Результат:

'AB'

Первые символы равны, а второй символ B больше второго символа A.

Большая длина первой строки не помогает ей стать больше.


34. Несколько строк

result = max(
    'Anna',
    'Alex',
    'Anton',
)

print(result)

Результат:

Anton

Первые символы всех строк равны:

A

Затем Python сравнивает следующие символы до первого различия.


35. Важное отличие

Если передать в max() одну строку:

max('Python')

функция будет искать наибольший отдельный символ этой строки.

Результат:

'y'

Чтобы сравнить целые строки, нужно передать их как разные аргументы:

max('Python', 'Java')

Или поместить их в список или кортеж:

max(['Python', 'Java'])
max(('Python', 'Java'))

Функция chr()

36. Обратное преобразование

Встроенная функция:

chr()

выполняет действие, обратное ord().

Она принимает целое число с кодовой точкой Unicode и возвращает строку из соответствующего символа.

Общий вид:

chr(code_point)

37. Примеры chr()

chr(97)

Результат:

'a'
chr(65)

Результат:

'A'
chr(33)

Результат:

'!'
chr(32)

Результат:

' '

38. Кириллица

chr(1040)

Результат:

'А'
chr(1072)

Результат:

'а'
chr(1025)

Результат:

'Ё'

39. Эмодзи

chr(128512)

Результат:

'😀'

Функция возвращает обычную строку:

emoji = chr(128512)

print(type(emoji))

Результат:

<class 'str'>

Длина такой строки:

len(emoji)

Результат:

1

40. ord() и chr() являются обратными функциями

chr(ord('A'))

Результат:

'A'

Сначала:

ord('A')

возвращает 65.

После этого:

chr(65)

возвращает 'A'.

Обратный пример:

ord(chr(65))

Результат:

65

41. Переход к следующему символу

Получим код эмодзи:

emoji_code = ord('😀')

print(emoji_code)

Результат:

128512

Увеличим код на единицу:

next_emoji = chr(emoji_code + 1)

print(next_emoji)

Результат:

😁

У этих двух эмодзи соседние кодовые точки:

😀 → 128512
😁 → 128513

Но нельзя рассчитывать, что прибавление единицы всегда даст логически «следующий» символ алфавита или похожий эмодзи. Расположение символов определяется таблицей Unicode.


42. Какой аргумент принимает chr()

Для обычного использования chr() принимает объект класса int:

chr(65)

Передача вещественного числа приведёт к ошибке:

chr(65.0)

Результат:

TypeError

Передача строки тоже приведёт к ошибке:

chr('65')

Результат:

TypeError

43. Допустимый диапазон

Функция chr() принимает код в диапазоне:

0–1_114_111

Нижняя граница:

chr(0)

Верхняя граница:

chr(1_114_111)

Если передать число за пределами диапазона:

chr(1_114_112)

будет ошибка:

ValueError

Официальная документация определяет допустимый диапазон как 0–0x10FFFF.


44. Визуальный символ не всегда состоит из одной кодовой точки

Для начальных примеров мы используем символы, представленные одной кодовой точкой:

ord('A')
ord('Я')
ord('😀')

Но некоторые визуально цельные эмодзи и составные символы могут состоять из нескольких кодовых точек.

В таком случае строка будет содержать больше одного элемента, и передать её целиком в ord() нельзя.

Поэтому точнее говорить:

ord() принимает строку, содержащую ровно одну кодовую точку Python.

Для простых букв, цифр и большинства используемых на уроке символов это выглядит как один обычный символ.


Основные правила урока

45. Что нужно запомнить

Функция:

ord()

принимает строку из одного символа и возвращает его код Unicode:

ord('A')

Результат:

65

Функция:

chr()

принимает целое число и возвращает соответствующий символ:

chr(65)

Результат:

'A'

Строки сравниваются лексикографически по кодовым точкам Unicode:

'a' > 'A'

Результат:

True

При сравнении нескольких символов решает первый различающийся символ:

'AB' > 'AAZZZZ'

Результат:

True

Если одна строка полностью является началом другой, более короткая строка считается меньшей:

'Python' < 'Pythonista'

Результат:

True

Строки с цифрами сравниваются не как числа:

'10' < '9'

Результат:

True

Стандартная ASCII является 7-битной таблицей из 128 кодовых позиций:

0–127

Первые 128 кодовых точек Unicode соответствуют ASCII.

Python использует Unicode для представления объектов класса str.

Проверка русской буквы с помощью диапазона

Предположим, в переменной letter находится один символ:

letter = 'Ф'

Нужно проверить, является ли этот символ русской буквой.

Можно использовать цепочку сравнений:

'А' <= letter <= 'я'

Результат:

True

Python проверяет сразу две границы:

letter не меньше 'А'
letter не больше 'я'

Если обе проверки верны, результатом будет True.

Пример:

letter = 'р'

result = 'А' <= letter <= 'я'

print(result)

Результат:

True

Другие примеры:

print('А' <= 'Б' <= 'я')
print('А' <= 'ю' <= 'я')
print('А' <= 'A' <= 'я')
print('А' <= '7' <= 'я')
print('А' <= '!' <= 'я')

Результат:

True
True
False
False
False

Такая проверка работает благодаря порядку кодовых точек Unicode:

'А'–'Я'
'а'–'я'

Сначала расположены основные заглавные русские буквы, а сразу после них — основные строчные русские буквы.

Важно, чтобы в переменной letter находилась строка ровно из одного символа:

letter = 'Ф'

Диапазон:

'А' <= letter <= 'я'

не учитывает две русские буквы:

Ё
ё

Они находятся в других позициях таблицы Unicode и не входят в непрерывный диапазон от 'А' до 'я'.

Способ добавления букв Ё и ё в такую проверку будет рассмотрен после изучения следующих операторов.