Какой эффективный способ подсчета строк в Pig?

Вместо того, чтобы напрямую использовать GROUP ALL, вы можете разделить его на два шага. Сначала сгруппируйте по полю и посчитайте количество строк. А затем выполните GROUP ALL, чтобы суммировать все эти подсчеты. Таким образом, вы сможете подсчитать количество строк параллельно.

Обратите внимание, однако, что если поле, которое вы используете в первом GROUP BY, не имеет дубликатов, все итоговые значения будут равны 1, поэтому никакой разницы не будет. Попробуйте использовать поле, в котором много дубликатов, чтобы повысить его производительность.

См. Этот пример:

a;1
a;2
b;3
b;4
b;5

Если мы сначала сгруппируем по первому полю, в котором есть дубликаты, последний COUNT будет иметь дело с 2 строками вместо 5:

A = load 'data' using PigStorage(';');
B = group A by $0;
C = foreach B generate COUNT(A);
dump C;
(2)
(3)
D = group C all;
E = foreach D generate SUM(C.$0);
dump E;
(5)

Однако, если мы сгруппируем по второму, уникальному, он будет иметь дело с 5 строками:

A = load 'data' using PigStorage(';');
B = group A by $1;
C = foreach B generate COUNT(A);
dump C;
(1)
(1)
(1)
(1)
(1)
D = group C all;
E = foreach D generate SUM(C.$0);
dump E;
(5)

Я просто немного покопаюсь в этой теме, и, похоже, вам не нужно бояться, что одному редуктору придется обрабатывать огромное количество данных, если вы используете последнюю версию Pig. Алгебраические UDF-ы будут обрабатывать COUNT smart, и оно рассчитывается в картографе. Таким образом, редуктору просто нужно иметь дело с агрегированными данными (counts / mapper). Я думаю, что он появился в 0.9.1, но в 0.14.0 определенно есть Это

Алгебраический интерфейс

Агрегатная функция - это функция eval, которая принимает сумку и возвращает скалярное значение. Одним интересным и полезным свойством многих агрегатных функций является то, что их можно вычислять постепенно, распределенным образом. Мы называем эти функции алгебраическими. COUNT - это пример алгебраической функции, потому что мы можем подсчитать количество элементов в подмножестве данных, а затем суммировать счетчики для получения окончательного результата. В мире Hadoop это означает, что частичные вычисления могут выполняться картой и объединителем, а конечный результат может быть вычислен редуктором.

Но мой предыдущий ответ был определенно неправильным:

В группировке вы можете использовать ключевое слово PARALLEL n, которое устанавливает количество редукторов.

Увеличьте параллелизм задания, указав количество сокращаемых задач n. Значение по умолчанию для n - 1 (одна задача сокращения).