Можно ли отображать и сокращать задания на разных машинах?

На каждом узле вы можете создать файл mapred-site.xml, чтобы переопределить любые настройки по умолчанию. Эти настройки будут применяться только к этому узлу (средство отслеживания задач).

Затем для каждого узла можно указать значения для

1. mapreduce.tasktracker.reduce.tasks.maximum
2. mapreduce.tasktracker.map.tasks.maximum

На узлах, где вы хотите запускать только задачи сокращения, установите максимальное количество задач карты равным 0 и наоборот.

Вот список параметры конфигурации

Задания редуктора могут выполняться на разных узлах, но в чем преимущество выполнения задания редуктора на мощной машине?

Вы можете использовать одну и ту же стандартную конфигурацию оборудования для узлов Map и Reduce.

Тонкая настройка работы с уменьшением карты - более сложная часть, в зависимости от

1) Ваш размер ввода

2) Время, затраченное картографом на выполнение задания карты.

3) Установка количества заданий Map & Reducer

и т.п.

Помимо изменений конфигурации, предложенных Герхардом, ознакомьтесь с некоторыми советами по тонкой настройке производительности Работа

Советы по настройке количества карт и соответствующему сокращению задач

Диагностика / симптомы:

1) Каждая задача map или reduce завершается менее чем за 30-40 секунд.

2) Большое задание не использует все доступные слоты в кластере.

3) После того, как большинство сопоставителей или редукторов запланированы, один или два остаются отложенными, а затем запускаются полностью самостоятельно.

Настройка количества карт и сокращение задач для задания важны. Несколько советов.

1) Если каждая задача занимает менее 30-40 секунд, уменьшите количество задач.

2) Если задание имеет более 1 ТБ входных данных, рассмотрите возможность увеличения размера блока входного набора данных до 256 МБ или даже 512 МБ, чтобы количество задач было меньше.

3) Пока каждая задача выполняется в течение как минимум 30-40 секунд, увеличьте количество задач сопоставления до некоторого числа, кратного количеству слотов сопоставителя в кластере.

4) Не планируйте слишком много сокращенных задач - для большинства задач. Количество задач сокращения должно быть равно или немного меньше количества слотов сокращения в кластере.

Если вы по-прежнему хотите иметь другую конфигурацию, взгляните на этот вопрос и ссылка вики

РЕДАКТИРОВАТЬ:

Настройте mapred.map.tasks в 1.x (или mapreduce.job.maps в версии 2.x) и mapred.reduce.tasks в 1.x (или mapreduce.job.reduces в версии 2.x) соответственно в ваших узлах в зависимости от конфигурации оборудования. Настройте больше редукторов на лучших аппаратных узлах. Но перед настройкой этих параметров убедитесь, что вы позаботились о размере ВХОДА, времени обработки карты и т. Д.