Я записываю сериализованные записи Thrift в файл, используя сжатие LZO Elephant Bird . Для этого я использую их класс ThriftBlockWriter . Затем в моем задании Scalding используется FixedPathLzoThrift для обработки записей. Все работает...

Я запускаю задание EMR Spark для некоторых сжатых LZO файлов журналов, хранящихся в S3. В одной папке хранится несколько лог-файлов, например: ... s3://mylogfiles/2014-08-11-00111.lzo s3://mylogfiles/2014-08-11-00112.lzo ... В искровой...

У меня есть сжатый LZO-файл /data/mydata.lzo , и я хочу запустить его, используя некоторый код MapReduce, который у меня есть. Сначала я создаю файл индекса с помощью пакета hadoop-lzo со следующей командой: >> hadoop jar...

Я хочу использовать LZO для сжатия массива целых чисел или байтов. Поэтому мне нужно скопировать массив int в * char, затем я сожму и сохраню в файл. И после того, как мне нужно сделать обратную операцию. Я открою файл, прочитаю его с помощью *Char...

Пишу в hadoop hdfs. Файл необходимо сжать с помощью lzo. Также файл будет добавлен в реальном времени. Исходный файл - это файл gzip, которого нет в hadoop. Пакет обрабатывает этот файл gzip, а затем выполняет сжатие lzo и добавляет его в файл...

Я новичок в сжатии и распаковке LZO. Я пытаюсь использовать эту библиотеку lzo-java . Вводная информация: У меня есть один байтовый массив в сжатом формате. Этот массив байтов я хочу распаковать, и, наконец, мне нужен распакованный массив...

Я хочу получить размер файла, сжатого в файлах lzo в hdfs, но я не хочу распаковывать файл. Файл очень большой, долго загружается на мой ПК.

Я написал простой LzoWordCount в свой Gateway/hadoop-env.sh: HADOOP_CLASSPATH=/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar...