Как определить количество редукторов? Похоже, это как-то связано с предложением where. Я использую следующий SQL:
- без предикатов
SELELT ip, port, count(1) AS cnt
FROM tb_ipaddr
GROUP BY ip, port;
В этой работе 252 редуктора.
- с одним предикатом
SELECT ip, port, count(1) AS cnt
FROM tb_ipaddr
WHERE port IS NOT NULL
GROUP BY ip, port;
В этой работе 84 редуктора.
- добавив еще один предикат, у задания будет 24 редуктора.
Почему количество редукторов становится на треть с каждым добавленным предикатом?
версия платформы: hive 2.3.7 и tez 0.9.2
