Сравнение строк, ASCII, Unicode, ord() и chr() в Python
Обновлено:
1. Сравнение строк
К строкам можно применять операторы сравнения:
>
>=
<
<=
==
!=
С равенством и неравенством мы уже знакомы:
'Python' == 'Python'
Результат:
True
'Python' != 'python'
Результат:
True
Строки также можно сравнивать с помощью операторов порядка.
2. Первые примеры
'a' > 'A'
Результат:
True
'z' > 'b'
Результат:
True
'B' > 'A'
Результат:
True
На первый взгляд может быть непонятно, почему одна буква считается больше другой.
Для ответа на этот вопрос нужно познакомиться с числовыми кодами символов.
Функция ord()
3. Что делает ord()
Встроенная функция:
ord()
принимает строку, состоящую ровно из одного символа, и возвращает числовой код этого символа в Unicode.
Общий вид:
ord(character)
Результатом является объект класса int.
4. Коды латинских букв
ord('a')
Результат:
97
ord('A')
Результат:
65
У маленькой латинской буквы a код больше:
97 > 65
Поэтому:
'a' > 'A'
возвращает:
True
5. Другие символы
Код пробела:
ord(' ')
Результат:
32
Код восклицательного знака:
ord('!')
Результат:
33
Код цифры, записанной как символ строки:
ord('0')
Результат:
48
ord('9')
Результат:
57
6. ord() принимает один символ
Правильно:
ord('A')
Неправильно передавать пустую строку:
ord('')
Неправильно передавать строку из нескольких символов:
ord('ABC')
Оба неправильных вызова приведут к ошибке:
TypeError
Для функции ord() длина строки должна быть равна единице.
7. Что такое кодовая точка
Число, которое возвращает ord(), называется кодовой точкой Unicode:
Unicode code point
Каждому закодированному символу назначено определённое число.
Например:
'A' → 65
'a' → 97
'А' → 1040
'а' → 1072
'😀' → 128512
Python использует Unicode для представления символов в объектах класса str.
Таблица ASCII
8. Для чего появилась ASCII
В первые годы развития вычислительной техники разные устройства могли использовать разные числовые коды для одних и тех же символов.
ASCII была создана в США в 1960-х годах, чтобы стандартизировать представление латинских букв, цифр, знаков пунктуации и управляющих команд при обмене данными.
Первая версия стандарта была опубликована в 1963 году, а позднее стандарт несколько раз пересматривался.
Название расшифровывается как:
American Standard Code for Information Interchange
9. ASCII является 7-битной кодировкой
Стандартная ASCII содержит 128 кодовых позиций:
0–127
Количество возможных комбинаций семи бит:
2 ** 7 = 128
Поэтому ASCII называют 7-битной кодировкой.
Каждый код ASCII можно представить не более чем семью двоичными разрядами.
Например, код большой буквы A:
65
в двоичной системе:
1000001
Если записать его в виде восьми бит, слева добавится ноль:
01000001
Это не означает, что Python хранит каждый строковый объект ровно в семи битах. Речь идёт только о диапазоне числовых кодов стандарта ASCII.
10. Единой 8-битной ASCII не существует
Стандартная ASCII — это именно 7-битная таблица с кодами от 0 до 127.
Выражением «расширенная ASCII» часто называют различные 8-битные кодировки, использующие диапазон от 128 до 255.
Однако единой универсальной 8-битной ASCII нет. Существовали разные несовместимые кодовые страницы, в которых одним и тем же числам могли соответствовать разные символы. Unicode отдельно отмечает, что название ASCII нередко ошибочно применяют к таким 8-битным кодировкам.
Python не использует «расширенную ASCII» в качестве основной модели строк. Объекты str в Python работают с Unicode.
11. Структура таблицы ASCII
В ASCII находятся коды от 0 до 127.
Упрощённо таблица устроена так:
0–31 управляющие коды
32 пробел
33–47 знаки пунктуации
48–57 цифры 0–9
58–64 знаки пунктуации
65–90 большие латинские буквы A–Z
91–96 знаки пунктуации
97–122 маленькие латинские буквы a–z
123–126 знаки пунктуации
127 управляющий код DELETE
Коды 0–31 и 127 являются управляющими. Большинство из них не изображает видимый символ, а исторически использовалось для управления передачей и обработкой данных.
12. Последовательность символов ASCII
Для сравнения строк особенно важно запомнить порядок:
цифры
большие латинские буквы
маленькие латинские буквы
То есть:
'0'–'9' → 48–57
'A'–'Z' → 65–90
'a'–'z' → 97–122
Внутри каждой группы символы расположены последовательно.
Например:
ord('A')
ord('B')
ord('C')
Результат:
65
66
67
ord('a')
ord('b')
ord('c')
Результат:
97
98
99
13. Символ и системы счисления
У символа не существует нескольких разных кодов в зависимости от системы счисления.
Есть одно числовое значение, которое можно по-разному записать.
Например, код символа A:
десятичная запись: 65
двоичная запись: 0b1000001
восьмеричная запись: 0o101
шестнадцатеричная: 0x41
Во всех случаях речь идёт об одном числе.
Подробно системы счисления будут изучаться отдельно. На этом уроке используем обычную десятичную запись.
Unicode
14. Зачем нужен Unicode
ASCII содержит только небольшой набор символов, которого недостаточно для русского, грузинского, японского и большинства других языков.
Unicode — международный стандарт, предназначенный для представления текстов разных языков, знаков пунктуации, математических символов, технических обозначений и эмодзи.
Python использует Unicode для объектов класса str, благодаря чему в одной программе можно работать с символами разных письменностей.
15. Размер Unicode
Диапазон возможных кодовых точек Unicode:
0–1_114_111
В шестнадцатеричной записи:
U+0000–U+10FFFF
Этот диапазон содержит более 1,1 миллиона возможных значений, но не все они назначены символам.
Unicode 17.0 содержит 159 801 закодированный символ. Стандарт продолжает развиваться, поэтому в будущих версиях количество символов может увеличиваться.
16. Unicode начинается с ASCII
Первые 128 кодовых точек Unicode полностью соответствуют ASCII:
U+0000–U+007F
Поэтому:
ord('A')
возвращает 65 и в контексте ASCII, и в Unicode.
Первые 256 кодовых позиций Unicode следуют расположению Latin-1, а первые 128 из них занимает стандартная 7-битная ASCII.
17. Таблицы символов
Для изучения ASCII можно использовать интерактивную таблицу ASCII Code, где представлены десятичные, двоичные, восьмеричные и шестнадцатеричные записи кодов.
Для поиска блоков Unicode и отдельных символов можно использовать таблицу Symbl. Например, блок кириллицы находится в диапазоне:
U+0400–U+04FF
Официальные таблицы символов публикует Unicode Consortium.
18. Кириллица
Коды основных русских заглавных букв:
'А' → 1040
'Б' → 1041
'В' → 1042
...
'Я' → 1071
Коды основных строчных букв:
'а' → 1072
'б' → 1073
'в' → 1074
...
'я' → 1103
Проверим:
print(ord('А'))
print(ord('а'))
Результат:
1040
1072
Основной блок кириллицы занимает диапазон U+0400–U+04FF.
19. Буквы Ё и ё
Коды букв:
print(ord('Ё'))
print(ord('ё'))
Результат:
1025
1105
Буквы Ё и ё находятся в том же блоке кириллицы, но не входят в непрерывные диапазоны:
А–Я
а–я
Поэтому программа, которая обрабатывает только диапазон от А до Я, не захватит букву Ё.
Если буква Ё должна учитываться, её часто приходится добавлять в проверку отдельно.
20. Эмодзи в Unicode
Unicode содержит и эмодзи:
message = 'Привет! 😀'
print(message)
Результат:
Привет! 😀
Можно получить код эмодзи:
ord('😀')
Результат:
128512
Python позволяет работать с такими символами как с элементами строк.
Как Python сравнивает строки
21. Лексикографическое сравнение
Python сравнивает строки лексикографически.
Это похоже на сравнение слов по порядку символов:
- сравниваются первые символы;
- если они равны, сравниваются вторые;
- затем третьи;
- сравнение продолжается до первого различающегося символа;
- больше считается строка, у которой код первого различающегося символа больше.
При сравнении используются числовые кодовые точки Unicode, которые возвращает ord().
22. Сравнение регистра
'a' > 'A'
Python сравнивает:
ord('a')
ord('A')
Результаты:
97
65
Так как:
97 > 65
результат сравнения:
True
В таблице Unicode латинские заглавные буквы расположены раньше строчных.
23. Сравнение букв одного регистра
'z' > 'b'
Коды:
print(ord('z'))
print(ord('b'))
Результат:
122
98
Поэтому:
'z' > 'b'
возвращает:
True
24. Сравнение нескольких символов
'cat' > 'car'
Первые два символа равны:
c == c
a == a
Отличаются третьи символы:
t
r
Код t больше кода r, поэтому:
'cat' > 'car'
Результат:
True
25. Первый различающийся символ решает результат
Сравним:
'AAZZZZZZ' > 'AB'
Первые символы равны:
A == A
Вторые символы:
A < B
Поэтому вся первая строка меньше:
'AAZZZZZZ' > 'AB'
Результат:
False
А:
'AB' > 'AAZZZZZZ'
возвращает:
True
Оставшиеся буквы Z уже не проверяются: результат определился на втором символе.
26. Длина не является главным критерием
Неправильно считать, что более длинная строка всегда больше.
'ZZ' > 'AAAAAAAAAAAA'
Результат:
True
Первый символ Z больше первого символа A.
Количество оставшихся символов значения уже не имеет.
27. Когда длина имеет значение
Длина учитывается, если одна строка полностью является началом другой.
'Python' < 'Pythonista'
Результат:
True
Все символы короткой строки совпали с началом длинной строки.
В такой ситуации более короткая строка считается меньшей.
Ещё пример:
'AA' < 'AAA'
Результат:
True
28. Сравнение чисел и строк с цифрами
Числа сравниваются по математическому значению:
10 > 9
Результат:
True
Строки сравниваются по кодам символов:
'10' > '9'
Результат:
False
Сначала сравниваются:
'1' и '9'
Их коды:
print(ord('1'))
print(ord('9'))
Результат:
49
57
Так как 49 < 57, строка '10' считается меньше строки '9'.
29. Числовое содержимое строки не превращает её в число
'1000' < '9'
Результат:
True
Python не воспринимает строки как числа.
Он видит последовательности символов:
'1', '0', '0', '0'
'9'
Уже первый символ определяет результат.
Для математического сравнения строки сначала нужно преобразовать в числа:
int('1000') > int('9')
Результат:
True
30. Сравнение русских букв
'а' > 'А'
Коды:
print(ord('а'))
print(ord('А'))
Результат:
1072
1040
Поэтому результат сравнения:
True
Это похоже на расположение латинских букв: основные заглавные русские буквы находятся раньше основных строчных.
31. Порядок Unicode — не всегда алфавитный порядок языка
Python по умолчанию сравнивает строки по кодовым точкам, а не по правилам словаря конкретного языка.
Например:
'Ё' < 'А'
Результат:
True
Потому что:
ord('Ё')
возвращает 1025, а:
ord('А')
возвращает 1040.
В русском алфавите Ё находится после Е, но числовой порядок Unicode устроен иначе.
Поэтому стандартное сравнение Python является техническим лексикографическим сравнением, а не полноценной алфавитной сортировкой для любого языка.
Функция max()
32. Получение большей строки
Функция max() может сравнить несколько строк и вернуть наибольшую:
max('Python', 'Java')
Результат:
'Python'
Сравниваются первые символы:
P > J
Поэтому строка 'Python' считается больше.
33. Первый различающийся символ в max()
max('AAZZZZZZ', 'AB')
Результат:
'AB'
Первые символы равны, а второй символ B больше второго символа A.
Большая длина первой строки не помогает ей стать больше.
34. Несколько строк
result = max(
'Anna',
'Alex',
'Anton',
)
print(result)
Результат:
Anton
Первые символы всех строк равны:
A
Затем Python сравнивает следующие символы до первого различия.
35. Важное отличие
Если передать в max() одну строку:
max('Python')
функция будет искать наибольший отдельный символ этой строки.
Результат:
'y'
Чтобы сравнить целые строки, нужно передать их как разные аргументы:
max('Python', 'Java')
Или поместить их в список или кортеж:
max(['Python', 'Java'])
max(('Python', 'Java'))
Функция chr()
36. Обратное преобразование
Встроенная функция:
chr()
выполняет действие, обратное ord().
Она принимает целое число с кодовой точкой Unicode и возвращает строку из соответствующего символа.
Общий вид:
chr(code_point)
37. Примеры chr()
chr(97)
Результат:
'a'
chr(65)
Результат:
'A'
chr(33)
Результат:
'!'
chr(32)
Результат:
' '
38. Кириллица
chr(1040)
Результат:
'А'
chr(1072)
Результат:
'а'
chr(1025)
Результат:
'Ё'
39. Эмодзи
chr(128512)
Результат:
'😀'
Функция возвращает обычную строку:
emoji = chr(128512)
print(type(emoji))
Результат:
<class 'str'>
Длина такой строки:
len(emoji)
Результат:
1
40. ord() и chr() являются обратными функциями
chr(ord('A'))
Результат:
'A'
Сначала:
ord('A')
возвращает 65.
После этого:
chr(65)
возвращает 'A'.
Обратный пример:
ord(chr(65))
Результат:
65
41. Переход к следующему символу
Получим код эмодзи:
emoji_code = ord('😀')
print(emoji_code)
Результат:
128512
Увеличим код на единицу:
next_emoji = chr(emoji_code + 1)
print(next_emoji)
Результат:
😁
У этих двух эмодзи соседние кодовые точки:
😀 → 128512
😁 → 128513
Но нельзя рассчитывать, что прибавление единицы всегда даст логически «следующий» символ алфавита или похожий эмодзи. Расположение символов определяется таблицей Unicode.
42. Какой аргумент принимает chr()
Для обычного использования chr() принимает объект класса int:
chr(65)
Передача вещественного числа приведёт к ошибке:
chr(65.0)
Результат:
TypeError
Передача строки тоже приведёт к ошибке:
chr('65')
Результат:
TypeError
43. Допустимый диапазон
Функция chr() принимает код в диапазоне:
0–1_114_111
Нижняя граница:
chr(0)
Верхняя граница:
chr(1_114_111)
Если передать число за пределами диапазона:
chr(1_114_112)
будет ошибка:
ValueError
Официальная документация определяет допустимый диапазон как 0–0x10FFFF.
44. Визуальный символ не всегда состоит из одной кодовой точки
Для начальных примеров мы используем символы, представленные одной кодовой точкой:
ord('A')
ord('Я')
ord('😀')
Но некоторые визуально цельные эмодзи и составные символы могут состоять из нескольких кодовых точек.
В таком случае строка будет содержать больше одного элемента, и передать её целиком в ord() нельзя.
Поэтому точнее говорить:
ord()принимает строку, содержащую ровно одну кодовую точку Python.
Для простых букв, цифр и большинства используемых на уроке символов это выглядит как один обычный символ.
Основные правила урока
45. Что нужно запомнить
Функция:
ord()
принимает строку из одного символа и возвращает его код Unicode:
ord('A')
Результат:
65
Функция:
chr()
принимает целое число и возвращает соответствующий символ:
chr(65)
Результат:
'A'
Строки сравниваются лексикографически по кодовым точкам Unicode:
'a' > 'A'
Результат:
True
При сравнении нескольких символов решает первый различающийся символ:
'AB' > 'AAZZZZ'
Результат:
True
Если одна строка полностью является началом другой, более короткая строка считается меньшей:
'Python' < 'Pythonista'
Результат:
True
Строки с цифрами сравниваются не как числа:
'10' < '9'
Результат:
True
Стандартная ASCII является 7-битной таблицей из 128 кодовых позиций:
0–127
Первые 128 кодовых точек Unicode соответствуют ASCII.
Python использует Unicode для представления объектов класса str.
Проверка русской буквы с помощью диапазона
Предположим, в переменной letter находится один символ:
letter = 'Ф'
Нужно проверить, является ли этот символ русской буквой.
Можно использовать цепочку сравнений:
'А' <= letter <= 'я'
Результат:
True
Python проверяет сразу две границы:
letter не меньше 'А'
letter не больше 'я'
Если обе проверки верны, результатом будет True.
Пример:
letter = 'р'
result = 'А' <= letter <= 'я'
print(result)
Результат:
True
Другие примеры:
print('А' <= 'Б' <= 'я')
print('А' <= 'ю' <= 'я')
print('А' <= 'A' <= 'я')
print('А' <= '7' <= 'я')
print('А' <= '!' <= 'я')
Результат:
True
True
False
False
False
Такая проверка работает благодаря порядку кодовых точек Unicode:
'А'–'Я'
'а'–'я'
Сначала расположены основные заглавные русские буквы, а сразу после них — основные строчные русские буквы.
Важно, чтобы в переменной letter находилась строка ровно из одного символа:
letter = 'Ф'
Диапазон:
'А' <= letter <= 'я'
не учитывает две русские буквы:
Ё
ё
Они находятся в других позициях таблицы Unicode и не входят в непрерывный диапазон от 'А' до 'я'.
Способ добавления букв Ё и ё в такую проверку будет рассмотрен после изучения следующих операторов.