Вопросы по теме 'hortonworks-data-platform'
Функция СУММ в скрипте Pig
Я студент, изучающий, как использовать скрипт Pig в песочнице hortonworks. Моя проблема в том, что я не могу правильно использовать функцию SUM . Я успешно разделил поля журнала брандмауэра, и я могу выполнять несколько запросов и использовать...
9575 просмотров
schedule
01.11.2021
Ошибка создания таблицы в HBase
Я новичок в hbase и пытаюсь создать таблицу в оболочке hbase песочницы hortonworks с помощью следующей команды:
create 'testtable', 'colfam1'
При этом я продолжаю получать эту ошибку:
hbase(main):002:0> create 'testtable', 'colfam1'...
1282 просмотров
schedule
22.09.2021
graceful_stop.sh не найден в HDP2.1 Hbase
Я читал документацию Hortonworks по удалению сервера региона с любого узла кластера ( http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_system-admin-guide/content/admin_decommission-slave-nodes-3.html ). Он использует скрипт...
307 просмотров
schedule
04.11.2021
Установите HDP 2.2 на CentOS 7
Как я вижу, для HDP 2.2 в качестве операционной системы требуется Centos 6.5, вероятно, потому, что для Ambari требуется Centos 6.5. У меня вопрос, устанавливал ли кто-нибудь его на Centos 7. Существуют ли какие-либо жесткие зависимости, которые не...
1390 просмотров
schedule
12.11.2021
Отказоустойчивость сервера Ambari
У нас есть кластер Hortonwork HDP 2.3 с 4 узлами, управляемый Ambari 2.1, работающий на Ubuntu 14.04. Все идет нормально. Мы можем запускать некоторые задания на Pig, Kafka, Spark и т. Д. Мне просто интересно: есть ли способ сделать нашу систему...
226 просмотров
schedule
03.11.2021
Невозможно запланировать процесс сокола - не удалось выполнить операцию авторизации, java.io.IOException: не удалось настроить потоки ввода-вывода
Привет, я пытаюсь запланировать процесс сокола с помощью интерфейса командной строки сокола и пользователя службы сокола в кластере с керберизацией. Я получаю следующее сообщение об ошибке:
ERROR: Bad...
217 просмотров
schedule
18.09.2021
Диспетчер ресурсов Spark в YARN: связь между контейнерами YARN и исполнителями Spark
Я новичок в Spark on YARN и не понимаю связи между YARN Containers и Spark Executors . На основе результатов сценария yarn-utils.py я опробовал следующую конфигурацию, которую можно использовать для поиска оптимальной конфигурации кластера....
8497 просмотров
schedule
30.11.2021
Ливи не работает с PySpark и Spark в Hortonworks
Я начал сеанс зажигания REST через livy, как показано:
curl -X POST --data '{"kind": "spark"}' -H "Content-Type: application/json" localhost:8998/sessions
{
"from": 0,
"sessions": [
{
"id": 0,
"kind": "spark",
"log":...
1177 просмотров
schedule
02.12.2021
GetKafka не получает сообщения в Apache Nifi
Я пытаюсь получить сообщения с помощью процессора GetKafka, но не могу его получить. Я тестировал использование сообщений с помощью потребителя командной строки Kafka, и он работает. Я также смог успешно использовать процессор PutKafka, чтобы...
827 просмотров
schedule
12.11.2021
Необходим spark-assembly-1.5.2.-hadoop2.7.jar для рабочего процесса Spark -Oozie на HDP 2.3.2
Я пытаюсь запланировать работу spark 1.5.2 на oozie 4.2.0 (HDP 2.3.x). Spark 1.5.2 был установлен извне. Я не использую версию Spark по умолчанию, предоставленную hortonworks. Я ссылаюсь на сообщение ниже, чтобы настроить это....
1828 просмотров
schedule
19.09.2021
ExecuteSQL не выбирает таблицу, если она имеет значение смещения dateTime?
Я создал таблицу с одним столбцом, имеющим значение типа данных -dateTimeOffset, и вставил несколько значений.
create table dto (dto datetimeoffset(7))
insert into dto values (GETDATE()) -- inserts date and time with 0 offset
insert into dto...
396 просмотров
schedule
26.11.2021
Ошибка подключения Hortonworks Hive ODBC в Excel 2013
Я пытаюсь запросить Hortonworks Hive через драйвер ODBC в Excel 2013.
Я скачал драйвер здесь (32-битный):
http://hortonworks.com/downloads/
Hortonworks 2.5 Улей 2.5.0.0-1245
Затем я добавляю конфигурацию в ODBC Data Source Administrator...
714 просмотров
schedule
26.11.2021
авторизовывать пользователей на основе имени пользователя, но не ролей пользователя в shiro.ini
Я подключил свою учетную запись ldap к shiro.ini. Есть ли способ настроить shiro.ini для использования имен пользователей вместо ролей пользователей.
например: прямо сейчас это возможно
[URL]
/ api / интерпретатор / ** = authc, роли [admin]...
103 просмотров
schedule
13.10.2021
HBase (Hortonworks) доступ запрещен исключение
Мы используем HBase в качестве хранилища в среде Hortonworks. У нас работает один узел, и мы планируем перейти на несколько узлов, если все будет работать нормально. В настоящее время мы используем систему единого входа Knox для входа в службы....
1107 просмотров
schedule
10.09.2021
Использовать Nifi replaceText для замены первого или последнего появления символа / строки другой строкой?
Попытка добавить тег к входящему файлу потока nifi json.
Вход:
[{"HIT":"DUMMY_3","BatchId":"jkajks981n-1280189nd-129dnbj-2349nbfk","Id":"81274376231"}]
Ожидаемый результат:
[{"nifi_received_ts_est":"2018-10-04...
1494 просмотров
schedule
08.09.2021
Как создать паркетный стол в Hive 3.1 - Spark 2.3 (pyspark)
Проблемы при создании / загрузке паркетного стола из Spark
Сведения о среде:
Horotonworks HDP3.0
Spark 2.3.1
Улей 3.1
1 #. При попытке создать паркетный стол в Hive 3.1– Spark 2.3 Spark выдает ошибку ниже....
1049 просмотров
schedule
14.09.2021
Невозможно использовать записи Kafka Avro с помощью Nifi и Schema Registry
Я пытаюсь использовать записи Avro из Kafka с помощью Nifi. У меня есть 3 темы, заполненные из заданий Amazon Lambda и 2 Spark Streaming, все из которых используют реестр схем HortonWorks для получения схемы Avro.
Я попытался использовать...
661 просмотров
schedule
12.11.2021
Недопустимое значение по умолчанию Avro для поля объединения
Я пытаюсь сериализовать, а затем записать в реестр схем hortonworks схему avro, но я получаю следующее сообщение об ошибке во время операции записи.
Caused by: java.lang.RuntimeException: An exception was thrown while processing request with...
267 просмотров
schedule
27.10.2021
Kafka Producer в eclipse не отправляет сообщения в тему
Я не могу отправлять сообщения от KafkaProducer с использованием java из eclipse в Windows (ОС хоста) в тему kafka, работающую в Hortonworks Sandbox. Мой код Java ниже
import java.util.Properties;
import java.util.concurrent.Future;
import...
1219 просмотров
schedule
04.12.2021
Как использовать службу Ambari для развертывания jar-файла на всех узлах hadoop?
У меня есть требование, когда я хочу развернуть файл jar в определенном месте на всех узлах кластера hadoop с помощью сервера Ambari. Для этого я думаю, что могу использовать сервисную функцию. Итак, я создал образец службы и мог развернуть ее как...
1426 просмотров
schedule
20.02.2022
