Экземпляр EC2: невозможно выделить память

У меня есть экземпляр EC2, в котором размещена среда Elastic Beanstalk (Linux и Python) с конфигурацией:

  • Тип экземпляра: c5.2xlarge

  • Размер корневого тома: 1000 ГиБ

В моем файле python я создаю 60 потоков для обработки видео (используя moviepy), каждый поток будет обрезать 10 видео (всего 10 МБ). Когда я запускал файл, он возвращал ошибку «Невозможно выделить память». Я знаю, что это связано с нехваткой памяти, но я не знаю, как измерить и настроить емкость экземпляра EC2, чтобы избежать этой проблемы.

Любое предложение приветствуется.


linux moviepy python-2.7 multithreading amazon-ec2
person Phong Vu    schedule 06.03.2018    source источник
comment
Вы пробовали использовать меньшее количество потоков, чтобы убедиться, что это не проблема с емкостью?   -  person Babak Naffas    schedule 06.03.2018
comment
да, пробовал с 5-6 потоками, нормально заработало. Я хочу сказать, что если я хочу запустить 60 потоков (может быть, больше), как это, как я могу настроить экземпляр EC2 для принятия этой тяжелой рабочей нагрузки без нехватки памяти?   -  person Phong Vu    schedule 06.03.2018
comment
Почему бы не сделать правило добавлять больше экземпляров EC2 в зависимости от использования памяти. Например. вы можете настроить правило для запуска инстанса EC2, как только использование памяти достигнет 80%.   -  person Gyanendra Dwivedi    schedule 06.03.2018

Ответы (1)


arrow_upward
0
arrow_downward

Если у вас есть возможность, я рекомендую настроить Группа Auto-Scaling в Elastic Beanstalk. Вам нужно будет поэкспериментировать с размером ваших экземпляров, поскольку вы, вероятно, не захотите наращивать дополнительный том c5.2xlarge только для выполнения нескольких дополнительных потоков.

person Preston Martin    schedule 06.03.2018