Размер объектов в памяти Python: getsizeof()
Обновлено:
В Python существует множество встроенных типов данных:
int
float
str
list
tuple
range
dict
set
frozenset
Все они предназначены для разных задач и имеют разное внутреннее устройство.
При выборе типа данных в первую очередь нужно учитывать то, какие данные мы собираемся хранить и какие операции над ними выполнять.
Например:
list— когда нужна упорядоченная изменяемая последовательность, которую мы можем пополнять новыми элементами.tuple— когда требуется фиксированная последовательность значений.set— когда нужны уникальные элементы и частые проверки принадлежности черезin.dict— когда необходимо хранить пары «ключ — значение».range— когда нужно представить диапазон целых чисел без создания полноценной коллекции всех этих чисел.
Обычно этих соображений уже достаточно, чтобы выбрать подходящий тип данных.
Но дополнительно полезно понимать, сколько оперативной памяти занимают разные объекты Python.
1. Функция getsizeof()
Для измерения размера объекта можно использовать функцию:
getsizeof()
Она находится в стандартном модуле:
sys
Импортируем:
from sys import getsizeof
Например:
number = 100
print(getsizeof(number))
Функция возвращает размер объекта в байтах.
Важно: конкретный результат зависит от реализации Python, её версии и платформы. Поэтому числа, полученные на разных компьютерах, могут отличаться.
2. Сравнение небольших и пустых объектов
Создадим объекты разных типов и сравним их размеры.
from collections import defaultdict, deque
from decimal import Decimal
from sys import getsizeof
objects = {
'None': None,
'int': 0,
'float': 0.0,
'bool False': False,
'bool True': True,
'complex': 0j,
'str': '',
'bytes': b'',
'bytearray': bytearray(),
'list': [],
'tuple': (),
'range': range(0),
'dict': {},
'defaultdict': defaultdict(),
'set': set(),
'frozenset': frozenset(),
'deque': deque(),
'Decimal': Decimal(),
}
for name, value in objects.items():
print(
name,
getsizeof(value),
'байт',
)
В этом примере мы сравниваем размеры объектов в их начальном или минимальном состоянии.
Некоторые типы, например:
deque
defaultdict
Decimal
bytearray
complex
мы ещё будем изучать позже. Сейчас достаточно просто посмотреть на их размеры.
На что обратить внимание
Даже пустые коллекции могут занимать разное количество памяти.
Например:
[]
и:
()
имеют разное внутреннее устройство.
Список должен поддерживать изменение количества элементов, а кортеж после создания изменить нельзя.
Поэтому в CPython пустой tuple обычно занимает меньше памяти, чем пустой list.
А объекты:
set()
и:
{}
обычно занимают больше памяти из-за особенностей внутреннего устройства хеш-таблиц.
3. Сравнение коллекций с данными
Теперь создадим объекты, содержащие значительно больше информации.
Для коллекций будем использовать числа от 0 до 100 включительно.
from collections import deque
from sys import getsizeof
numbers = range(101)
objects = {
'range': numbers,
'list': list(numbers),
'tuple': tuple(numbers),
'set': set(numbers),
'frozenset': frozenset(numbers),
'dict': {
number: number
for number in numbers
},
'deque': deque(numbers),
}
for name, value in objects.items():
print(
name,
getsizeof(value),
'байт',
)
Здесь мы сравниваем разные способы представления одной и той же последовательности чисел.
Обратите внимание на несколько особенностей.
range не хранит все 101 число. Он хранит параметры диапазона, поэтому занимает очень мало памяти.
list и tuple хранят ссылки на элементы. Для 101 элемента потребуется больше памяти, чем для пустой коллекции.
set и frozenset используют хеш-таблицы, которым требуется дополнительное пространство для размещения элементов.
dict хранит пары «ключ — значение», поэтому его внутреннее устройство отличается от остальных коллекций.
4. Размер строк, чисел и байтов
Отдельно сравним несколько других типов данных.
Создадим длинную строку, содержащую цифры:
from sys import getsizeof
numbers = range(101)
text = ''.join(
str(number)
for number in numbers
)
objects = {
'str': text,
'int': int(text),
'float': float(text),
'bytes': text.encode('ascii'),
'bytearray': bytearray(
text,
'ascii',
),
}
for name, value in objects.items():
print(
name,
getsizeof(value),
'байт',
)
Мы взяли одну последовательность цифр и представили её разными типами данных.
Но важно понимать, что это не одинаковые объекты с одинаковым внутренним устройством.
Например:
int(text)
создаёт большое целое число.
А:
float(text)
создаёт вещественное число с ограниченной точностью. Оно не обязано сохранять все цифры исходного огромного числа.
В свою очередь:
text
хранит текстовую информацию.
Поэтому размеры этих объектов могут сильно различаться.
5. Важная особенность getsizeof()
Функция:
getsizeof()
измеряет память, непосредственно относящуюся к объекту, но не суммирует автоматически размеры всех объектов, на которые он ссылается.
Например:
numbers = [
10,
20,
30,
]
print(getsizeof(numbers))
мы получаем размер самого списка, включая его внутреннее хранилище ссылок.
Но в результат не добавляются отдельно размеры объектов:
10
20
30
на которые ссылается список.
То же самое относится к вложенным объектам:
data = [
[10, 20],
[30, 40],
]
Вызов:
getsizeof(data)
не показывает суммарный размер внешнего списка, обоих внутренних списков и всех чисел.
Поэтому getsizeof() отлично подходит для знакомства с устройством отдельных объектов, но не является полноценным инструментом измерения всей памяти, занимаемой сложной структурой данных.
6. Основные выводы
После экспериментов можно заметить несколько закономерностей.
1. Пустые объекты разных типов занимают разное количество памяти.
Каждый тип имеет собственное внутреннее устройство.
2. Размер объекта может увеличиваться вместе с количеством данных.
Например:
list(range(10))
и:
list(range(1000))
занимают разное количество памяти.
3. Некоторые типы имеют дополнительные расходы на внутреннюю структуру.
Например, list, dict и set используют память не только для размещения имеющихся элементов, но и для организации своего внутреннего хранилища.
4. range особенно экономно представляет числовые диапазоны.
Например:
range(1_000_000)
не создаёт миллион объектов int.
Поэтому размер самого объекта range почти не зависит от количества чисел в диапазоне.
Главное по теме
Чтобы узнать размер объекта в байтах:
from sys import getsizeof
Используем:
getsizeof(object)
Например:
print(getsizeof([]))
print(getsizeof(()))
print(getsizeof({}))
print(getsizeof(set()))
Размер зависит от реализации Python, её версии и платформы.
Также getsizeof() не подсчитывает рекурсивно всю память объектов, на которые ссылается исследуемый объект.
Но самое главное — выбирать тип данных нужно прежде всего по его назначению и необходимым операциям.
Если нужен словарь, используем:
dict
Если нужна изменяемая упорядоченная последовательность:
list
Если нужны уникальные значения:
set
Не стоит выбирать неподходящую структуру исключительно потому, что в конкретном эксперименте она занимает немного меньше оперативной памяти.
Размер объекта — дополнительный критерий, а не главный.