Как ограничить скорость загрузки в запросах python3?

                if r.status_code != 200:
                    log.error(f'??? download returned {r.status_code}')
                    return -(offset + r.status_code)
                siz = 0
                with open(sfn, 'wb') as fo:
                    for chunk in r.iter_content(chunk_size=4096):
                        fo.write(chunk)
                        siz += len(chunk)
                return siz

Вы можете переписать его как сопрограмму

import requests

def producer(URL,temp_data,n):
    with requests.get(URL,  stream=True) as r:
        if r.status_code != 200:
            log.error(f'??? download returned {r.status_code}')
            return -(offset + r.status_code)
        for chunk in r.iter_content(chunk_size=n):
            temp_data.append(chunk)
            yield #waiting to finish the consumer
            

def consumer(temp_data,fname):
    with open(fname, 'wb') as fo:
        while True:
            while len(temp_data) > 0:
                for data in temp_data:
                    fo.write(data)
                    temp_data.remove(data) # To remove it from the list
                    # You can add sleep here
                    yield #waiting for more data


def coordinator(URL,fname,n=4096):
    temp_data = list()
    c = consumer(temp_data,fname)
    p = producer(URL,temp_data,n)
    while True:
        try:
            #getting data
            next(p)
        except StopIteration:
            break
        finally:
            #writing data
            next(c)

Это все функции, которые вам нужны. Чтобы назвать это

URL = "URL"
fname = 'filename'
coordinator(URL,fname)

Если веб-сервер поддерживает поле http Range, вы можете запросить загрузку только части большого файла, а затем просмотреть весь файл по частям.

Взгляните на этот вопрос, где Джеймс Миллс приводит следующий пример кода:

from requests import get

url = "http://download.thinkbroadband.com/5MB.zip"
headers = {"Range": "bytes=0-100"}  # first 100 bytes

r = get(url, headers=headers)

Поскольку ваша проблема связана с памятью, вы захотите запретить серверу отправлять вам весь файл сразу, так как это, безусловно, будет буферизовано каким-то кодом на вашем устройстве. Если вы не можете заставить запросы отбрасывать часть получаемых данных, это всегда будет проблемой. Дополнительные буферы после requests не помогут.

Вы можете попробовать уменьшить размер буфера приема TCP с помощью этой команды bash:

echo 'net.core.rmem_max=1000000' >> /etc/sysctl.conf

(1 МБ, вы можете настроить это)

Это предотвращает накопление огромного буфера на данном этапе процесса.

Затем напишите код для чтения только из стека TCP и записи в MMC через определенные промежутки времени, чтобы предотвратить создание буферов в другом месте системы, таких как буфер записи MMC - например, ответ @e3n.

Надеюсь, это должно привести к тому, что пакеты будут отброшены, а затем повторно отправлены сервером, как только буфер снова откроется.