Я хочу разделить входной поток для пакетной обработки. Учитывая входной список или генератор,
x_in = [1, 2, 3, 4, 5, 6 ...]
Мне нужна функция, которая будет возвращать куски этого ввода. Скажем, если chunk_size=4, то,
x_chunked = [[1, 2, 3, 4], [5, 6, ...], ...]
Это то, что я делаю снова и снова, и мне было интересно, есть ли более стандартный способ, чем писать это самому. Я что-то пропустил в itertools? (Можно было бы решить проблему с enumerate и groupby, но это кажется неуклюжим.) Если кто-то хочет увидеть реализацию, вот она,
def chunk_input_stream(input_stream, chunk_size):
"""partition a generator in a streaming fashion"""
assert chunk_size >= 1
accumulator = []
for x in input_stream:
accumulator.append(x)
if len(accumulator) == chunk_size:
yield accumulator
accumulator = []
if accumulator:
yield accumulator
Редактировать
Вдохновленный ответом kreativitea, вот решение с islice, которое простое и не требует постфильтрации,
from itertools import islice
def chunk_input_stream(input_stream, chunk_size):
while True:
chunk = list(islice(input_stream, chunk_size))
if chunk:
yield chunk
else:
return
# test it with list(chunk_input_stream(iter([1, 2, 3, 4]), 3))
