Я использую Scalding, и размер выходного файла составляет примерно 5,5 ГБ. (например, для 30 редьюсеров есть 30 файлов по 5,5 ГБ). Есть ли способ ограничить выходные файлы размером 512 МБ каждый? Я мог бы увеличить количество редукторов, но надеялся на что-то более динамичное.
Ограничьте размер выходного файла редуктора с помощью Scalding
comment
Насколько я знаю, нет способа ограничить размер файла в редюсере, поэтому количество редукторов, похоже, является правильным. Не могли бы вы объяснить немного больше, почему вам нужно ограничить размер файла?
- person Sasha O schedule 04.01.2016
Ответы (1)
Я не уверен насчет Scalding, но в типичном уменьшении карты вы можете увеличить количество выходных файлов, внедрив несколько выходных форматов. Вы можете создавать префиксы имен файлов на основе ключей (по умолчанию в качестве префикса используется часть).
person
Durga Viswanath Gadiraju
schedule
04.01.2016
@BenWatson Я думаю, что Дурга имела в виду то, что вы можете создать собственный формат выходного файла, который разделит вывод на несколько файлов, что является разумным предложением, учитывая, что запрашивающая сторона не хочет изменять количество редукторов.
- person Sasha O; 04.01.2016
