Разница между hive.tez.container.size и tez.task.resource.memory.mb

Не мог бы кто-нибудь узнать и объяснить мне, пожалуйста, разницу между этими настройками Tez?

hive.tez.container.size и tez.task.resource.memory.mb

Благодарю.


person Ulky Igor    schedule 29.01.2019    source источник


Ответы (1)


hive.tez.container.size

Это свойство определяет размер контейнера tez. Обычно значение этого свойства должно быть таким же или кратным (в 1 или 2 раза больше) размеру контейнера YARN yarn.scheduler.minimum-allocation-mb и не должно превышать значение yarn.scheduler.maximum-allocation-mb.

Как правило, не устанавливайте значение выше, чем объем памяти на процессор, поскольку вам нужен 1 процессор на контейнер и вы хотите развернуть несколько контейнеров.

Вы можете найти очень подробный ответ и отличную диаграмму архитектуры в ответе сообщества Hortonworks здесь

tez.task.resource.memory.mb

Объем памяти, используемый запущенной задачей в контейнере TEZ. Обычно это значение устанавливается в DAG, но если это не так, то по умолчанию оно будет установлено на 1024 МБ.

Все задачи в DAG будут иметь одинаковый размер, это полезно для повторного использования контейнера, а также хорошо для производительности.

person Jainik    schedule 30.01.2019
comment
Спасибо вам за разъяснение !! Подскажите пожалуйста ссылки про tez.task.resource.memory.mb? Я хотел бы знать, как это установить - person Ulky Igor; 31.01.2019
comment
@UlkyIgor Это свойство необходимо указать в tez-site.xml. Вы можете изменить значение этого свойства в этом файле. Обычно файл tez-site.xml находится в TEZ_HOME / conf. В качестве альтернативы, если вы используете Ambari, вы также можете изменить его оттуда. Если вы не видите это свойство там, просто добавьте его, как показано ниже: <property> <name>tez.task.resource.memory.mb</name> <value>1024</value> </property> Эта ссылка предоставит базовое описание [ docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5 / - person Jainik; 01.02.2019
comment
Спасибо за ответ. Правда, у меня нет доступа к конфигурации кластера, и я просто выполняю запросы hive через Билайн. Я нашел способ настроить его;) с помощью --hiveconf - person Ulky Igor; 04.02.2019