Конфигурации AWS Glue DPU

Я вижу, что DPU состоит из 4 виртуальных ЦП и 16 ГБ памяти. Можно ли изменить эти настройки для vCPU, памяти, чтобы у меня не закончились DPU или не было превышено ограничение DPU.

Я думаю, что существует максимальный предел в 5 DPU для конечной точки Dev и максимум 2 конечные точки DEV для учетной записи?

С Уважением

Юва


person Yuva    schedule 08.02.2018    source источник


Ответы (2)


В настоящее время нет возможности настроить память DPU, но вы можете запросить увеличение лимита в вашей учетной записи, чтобы иметь возможность использовать больше DPU.

person charmander    schedule 08.02.2018

По состоянию на апрель 2019 года появилось два новых типа работников:

Теперь вы можете указать тип воркера для заданий Apache Spark в AWS Glue для рабочих нагрузок, интенсивно использующих память.

Ранее все задания Apache Spark в AWS Glue выполнялись со стандартной конфигурацией: 1 блок обработки данных (DPU) на рабочий узел и 2 исполнителя Apache Spark на узел. Теперь вы можете выбрать одну из двух новых конфигураций, G.1X и G.2X, которые предоставляют больше памяти для каждого исполнителя.

https://aws.amazon.com/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

person Sinan Erdem    schedule 25.04.2019