Вопросы по теме 'mapr'
Как разделить строки Spark RDD с помощью Deliminator
Я пытаюсь разбить данные в Spark в виде RDD Array[String] . В настоящее время я загрузил файл в RDD String .
> val csvFile = textFile("/input/spam.csv")
Я хотел бы разделить на , разделитель.
10616 просмотров
schedule
27.11.2021
Вызвать свинью с помощью oozie - org.apache.pig.Main код выхода [2]
Я пытаюсь вызвать действие Pig в Oozie и работаю со следующим:
Oozie v3.3.2
Свинья v0.12.1-mapr
Hadoop v1.0.3
mapr M5
На данный момент я могу вызвать действие Java с помощью Oozie. Однако, когда я пытаюсь вызвать...
1130 просмотров
schedule
30.10.2021
Инструкции по работе с песочницей MapR
После того, как я установил песочницу MapR на свой ноутбук, как практиковать примеры упражнений в песочнице MapR? Где найти инструкцию? Спасибо. Венкат
452 просмотров
schedule
11.09.2021
Чем отличается ч / б Mapr Vs Cloudera?
Cloudera - это бесплатная и корпоративная версия, но MapR - это почти корпоративная версия. Почему? есть ли между ними большая разница?
1824 просмотров
schedule
23.09.2021
Использование разделов (с partitionBy) при записи дельта-озера не имеет никакого эффекта
Когда я изначально пишу дельта-озеро, используя разделы (с partitionBy) или нет, это не имеет никакого значения.
Использование повторного разбиения на тот же столбец перед записью изменяет только количество паркетных файлов. Явное разделение...
893 просмотров
schedule
07.11.2021
Как получить свойства конфигурации по умолчанию в MapR
Я пытаюсь найти свойства по умолчанию в MapR Hadoop . С веб-сайта HPE (теперь MapR принадлежит HPE) получено чтобы узнать путь к файлам конфигурации. Но эти файлы показывают только некоторые конкретные свойства, а не все.
45 просмотров
schedule
27.09.2021
HIVE: Ошибка вставки запроса с ошибкой java.lang.OutOfMemoryError: превышен предел накладных расходов GC
Запрос на вставку моего улья не удался из-за ошибки ниже: java.lang.OutOfMemoryError: превышен предел накладных расходов GC
Данные в таблице 2 = 1,7 ТБ Запрос:
set hive.exec.dynamic.partition.mode= nonstrict;set...
826 просмотров
schedule
02.03.2022
Поддерживается ли Hive on Spark кластером MapR?
Я хотел бы выполнять запросы улья на Spark. В настоящее время мы используем mapreduce в качестве механизма выполнения. пожалуйста, дайте мне знать, есть ли поддержка Spark для выполнения запросов куста в кластере MapR ?.
ранее я выполнял запросы...
127 просмотров
schedule
26.03.2022
Как сохранить файл в MapR HDFS с помощью Ruby
Есть ли способ сохранить файл в HDFS с помощью дистрибутива MapR Hadoop из Ruby?
По-видимому, существует Thrift API под названием thriftfs , который позволяет взаимодействовать с HDFS от клиентов, но похоже, что он не связан с MapR.
323 просмотров
schedule
23.05.2022
будет ли SQL-запрос mapR/Apache Drill распределять работу на каждый узел или это будет такая же скорость, как и в SQL RDBMS?
Я столкнулся с запросом к базе данных, написанным на R, который работает с хранилищем данных mapR с использованием драйвера Apache Drill. Из-за потолка производительности с моей программой около 700 000 строк я изучаю возможность использования другой...
93 просмотров
schedule
07.07.2022
Пользовательские журналы Spark Executor [дубликаты]
Я предоставляю пользовательские свойства log4j для отправки искры следующим образом:
spark-submit --master yarn --queue qqqq \
--driver-java-options "-Dlog4j.configuration=file:/absolute path/to properties file/driver-log4j.properties" \...
260 просмотров
schedule
01.07.2022
Как получить размер таблицы mapr-db?
Я выполнил следующие шаги для создания таблицы mapr-db:
$ pwd
/mapr/cluster1/user/project
$ls
bin src
$ maprcli volume create -name project-tables-vol -path /user/project/tables \
-quota 100G -topology /data/rack1
$ ls
bin src...
961 просмотров
schedule
30.07.2022
Запуск службы impala в одиночку в докере
Я пытаюсь установить impala в контейнер докера (используя документацию MAPR). В этом докере я запускаю только службу Impala и оставшийся куст, службы maprfs будут работать на физическом узле. При запуске сервера impala (демон impala) я получаю...
224 просмотров
schedule
01.08.2022
Apache Drill: ошибка создания таблицы при выборе из данных Json
Команда ниже работает нормально.
SELECT TO_TIMESTAMP(`ts`,'yyyyMMddHHmmss')
FROM dfs.tmp`/mapr/my.cluster.com/hive/cpf_sales.json
Но когда я пытаюсь создать таблицу из оператора select, она выдает ошибку. Ниже те, которые я пробовал...
547 просмотров
schedule
19.08.2022
Проблема с импортом python для mapr_streams_python
Я играю с песочницей MapR и хотел бы импортировать некоторые данные в поток MapR с помощью python. Но у меня проблема с импортом, и я не знаю, почему. Я следовал инструкциям с веб-сайта MApR (см. ссылку в конце этого поста) и везде искал подсказку,...
157 просмотров
schedule
21.08.2022
Проблемы с путями к классам в MAPR
Я запускаю клиентскую программу MAPR. Я получаю следующее исключение: java.lang.UnsatisfiedLinkError: com.mapr.security.JNISecurity.SetParsingDone()V в com.mapr.security.JNISecurity.SetParsingDone(собственный метод) в...
1352 просмотров
schedule
02.09.2022
HBase: создать таблицу с той же схемой, что и существующая таблица.
Я пробовал искать на форуме, где я могу создать новую пустую таблицу hbase из существующей схемы таблицы hbase, но не смог найти.
Чтобы быть более точным, предположим, что у меня есть таблица с несколькими семействами столбцов и множеством...
9715 просмотров
schedule
10.09.2022
Налагает ли HBase максимальный размер на строку?
Вопрос высокого уровня:
Налагает ли HBase максимальный размер строки, который является общим для всех дистрибутивов (и, следовательно, не является артефактом реализации), либо с точки зрения хранимых байтов , либо с точки зрения количества ячеек...
5871 просмотров
schedule
06.10.2022
Подключение к удаленному Mapr Hive через JDBC
Этот вопрос похож, но не тот же, что и Hive JDBC getConnection не возвращает . Но все же речь идет об удаленном подключении. Также хранилище метаданных присутствует в каталоге, в котором был запущен hiveserver2.
У нас есть работающий кластер...
16214 просмотров
schedule
04.11.2022
pip install pandas не смог найти загрузки, удовлетворяющие требованиям pandas
пока я пытаюсь установить pandas, получаю ошибку ниже.
не могли бы вы предложить мне решить?
[mapr@csdssqwqasw22 ~]$ pip install pandas Загрузка/распаковка pandas Не удается получить базовый URL индекса https://pypi.python.org/simple/ Не...
1147 просмотров
schedule
06.03.2023
