Content-Encoding: gzip + Transfer-Encoding: фрагментация с помощью gzip/zlib дает неправильную проверку заголовка

Вы не можете разделить на \r\n, так как сжатые данные могут содержать и, если они достаточно длинные, обязательно будут содержать эту последовательность. Вам нужно сначала разархивировать фрагменты, используя предоставленную длину (например, первая длина 1f50), и передать полученные фрагменты для распаковки. Сжатые данные начинаются с \x1f\x8b.

Фрагментация представляет собой шестнадцатеричное число, crlf, чанк с таким количеством байтов, crlf, шестнадцатеричный номер, crlf, чанк, crlf, ..., последний чанк (нулевой длины), [возможно, некоторые заголовки], crlf.

@mark-adler дал мне несколько хороших советов о том, как работает режим с разбиением на фрагменты в протоколе HTML, кроме того, я возился с различными способами разархивирования данных.

1. Вы должны сшить куски в одну большую кучу
2. Вы должны использовать gzip, а не zlib
3. Вы можете разархивировать только сшитые куски целиком, делать это по частям не получится

Вот решение всех трех вышеперечисленных проблем:

unchunked = b''
pos = 0
while pos <= len(data):
    chunkNumLen = data.find(b'\r\n', pos)-pos
#   print('Chunk length found between:',(pos, pos+chunkNumLen))
    chunkLen=int(data[pos:pos+chunkNumLen], 16)
#   print('This is the chunk length:', chunkLen)
    if chunkLen == 0:
#       print('The length was 0, we have reached the end of all chunks')
        break
    chunk = data[pos+chunkNumLen+len('\r\n'):pos+chunkNumLen+len('\r\n')+chunkLen]
#   print('This is the chunk (Skipping',pos+chunkNumLen+len('\r\n'),', grabing',len(chunk),'bytes):', [data[pos+chunkNumLen+len('\r\n'):pos+chunkNumLen+len('\r\n')+chunkLen]],'...',[data[pos+chunkNumLen+len('\r\n')+chunkLen:pos+chunkNumLen+len('\r\n')+chunkLen+4]])
    unchunked += chunk
    pos += chunkNumLen+len('\r\n')+chunkLen+len('\r\n')

with gzip.GzipFile(fileobj=BytesIO(unchunked)) as fh:
    unzipped = fh.read()

return unzipped

Я оставил вывод отладки там, но раскомментировал по какой-то причине.
Это было чрезвычайно полезно, даже несмотря на то, что это выглядит как беспорядок, чтобы получить, какие данные вы/я на самом деле пытались распаковать и какие части были извлечены, где и какие значения для каждого вычисления приносит четвертый.

Этот код будет проходить по фрагментам данных в следующем формате:
<chunk length o' X bytes> \r\n <chunk> \r\n

Пришлось быть осторожным, прежде всего, извлекая X bytes, поскольку они вошли в 1f50, на котором я сначала должен был использовать binascii.hexlify(data[0:4]), прежде чем поместить его в int(), не знаю, почему мне это больше не нужно, потому что мне это нужно, чтобы получить длину ~ 8000 раньше, но затем он внезапно дал мне ДЕЙСТВИТЕЛЬНО большое число, что было нелогично, даже если я действительно не давал ему никаких других данных ... во всяком случае. После этого нужно было просто убедиться, что числа верны, а затем объединить все куски в одну огромную кучу данных gzip и передать их в .GzipFile(...).

Редактировать 3 года спустя:

Я знаю, что сначала это была проблема на стороне клиента, но вот функция на стороне сервера для отправки функционального теста:

def http_gzip(data):
    compressed = gzip.compress(data)

    # format(49, 'x') returns `31` which is `\x31` but without the `\x` notation.
    # basically the same as `hex(49)` but ment for these kind of things.
    return bytes(format(len(compressed), 'x')),'UTF-8') + b'\r\n' + compressed + b'\r\n0\r\n\r\n'