Как узнать размер генератора в Python?

В Python часто возникает задача определить размер генератора без необходимости извлечения всех его значений. Это полезно, если вы работаете с большими потоками данных и хотите избежать избыточного расхода памяти.

Пример с len()
Некоторые итераторы, такие как range, поддерживают вызов len():

len(range(10000))  # 10000

Однако генераторы не имеют длины, и попытка вызвать len() вызовет ошибку:

gen = (x ** 2 for x in range(10000))
len(gen)  # TypeError: object of type 'generator' has no len()

Стандартное решение: преобразование в список
Один из способов получить размер генератора — это преобразовать его в список:

gen = (x ** 2 for x in range(10000))
print(len(list(gen)))  # 10000

Этот подход работает, но имеет серьёзный недостаток: он требует загрузить все значения генератора в память. Если генератор очень большой, это может привести к нехватке памяти.

Более эффективный подход: подсчёт с помощью sum
Чтобы избежать лишнего расхода памяти, можно подсчитать количество элементов в генераторе с использованием sum():

gen = (x ** 2 for x in range(10000))
print(sum(1 for _ in gen))  # 10000

Этот метод обходит генератор "лениво", не создавая дополнительных списков, что делает его идеальным для работы с большими потоками данных.

Резюме
- Используйте len() только для итераторов, поддерживающих его (например, `range`).
- Для генераторов избегайте преобразования в список, если важна экономия памяти.
- Используйте sum(1 for _ in gen) для эффективного подсчёта элементов генератора.

👉 @BookPython