Не мог бы кто-нибудь узнать и объяснить мне, пожалуйста, разницу между этими настройками Tez?
hive.tez.container.size и tez.task.resource.memory.mb
Благодарю.
Не мог бы кто-нибудь узнать и объяснить мне, пожалуйста, разницу между этими настройками Tez?
hive.tez.container.size и tez.task.resource.memory.mb
Благодарю.
hive.tez.container.size
Это свойство определяет размер контейнера tez. Обычно значение этого свойства должно быть таким же или кратным (в 1 или 2 раза больше) размеру контейнера YARN yarn.scheduler.minimum-allocation-mb и не должно превышать значение yarn.scheduler.maximum-allocation-mb.
Как правило, не устанавливайте значение выше, чем объем памяти на процессор, поскольку вам нужен 1 процессор на контейнер и вы хотите развернуть несколько контейнеров.
Вы можете найти очень подробный ответ и отличную диаграмму архитектуры в ответе сообщества Hortonworks здесь
tez.task.resource.memory.mb
Объем памяти, используемый запущенной задачей в контейнере TEZ. Обычно это значение устанавливается в DAG, но если это не так, то по умолчанию оно будет установлено на 1024 МБ.
Все задачи в DAG будут иметь одинаковый размер, это полезно для повторного использования контейнера, а также хорошо для производительности.
<property> <name>tez.task.resource.memory.mb</name> <value>1024</value> </property>
Эта ссылка предоставит базовое описание [ docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5 / а>
- person Jainik; 01.02.2019