Вопросы по теме 'hdp'
Невозможно запустить большинство сервисов HDP2.6.1 Sandbox на экземпляре AWS EC2
Я установил песочницу HDP2.6.1 с помощью докера на экземпляре AWS EC2 [c5.4xlarge - CentOS 7 (x86_64) - с обновлениями].
Я также могу изменить пароль администратора и войти в пользовательский интерфейс Ambari как пользователь с правами...
268 просмотров
schedule
24.09.2021
Получение докера: неверный формат ссылки. при запуске docker-deploy-hdp30.sh
Я пытаюсь настроить песочницу для докеров HDP3. Я запускаю сценарий развертывания. Контейнер запускается успешно, но во время сценариев после развертывания он заканчивается на «docker: недопустимый формат ссылки». Контейнер запущен, но на данный...
293 просмотров
schedule
17.09.2021
контейнер песочницы-прокси аварийно завершает работу вскоре после запуска
Пытался настроить HDP (2.6.5 и 3.0.1) на новой установке Ubuntu (18.04.3 и 16.04).
Следуйте инструкциям по развертыванию песочницы Hortonworks в Docker на странице https://www.cloudera.com/tutorials/sandbox-deployment-and-install-guide/3.html ....
398 просмотров
schedule
17.11.2021
Можете ли вы контролировать размер файла hdfs для управляемой таблицы HortonWorks HDP 3.4.1?
В настоящее время тестируется кластер, и при использовании "CREATE TABLE AS" результирующая управляемая таблица оказывается одним файлом размером ~ 1,2 ГБ, в то время как базовый файл, из которого создается запрос, содержит множество небольших...
83 просмотров
schedule
08.09.2021
HDFS: удаление каталога узлов данных только для одного узла
У нас есть кластер Hadoop (HDP 3.1.4 с Ambari 2.7), содержащий 3 узла данных: data1, data2, data3 со следующими дисками HDFS и точками монтирования:
данные хоста [1-2]
/dev/sdb -> /mnt/datadisk1
/ dev / sdc -> / mnt / datadisk2
/ dev /...
196 просмотров
schedule
30.04.2022
сервер-улей отправляет значения временной метки паркета на один час в часовом поясе BST
'HDP - 3.1.4, Таблица, содержащая метку времени паркета, которая содержит почасовые данные, сервер улья помещает эти данные в следующий пример даты, показан ниже, пожалуйста, проверьте до и после 29 марта 2020 года, где 29 марта - это Настройки...
56 просмотров
schedule
06.05.2022
кластер hadoop + любой способ отключить приложение Spark для запуска на определенных узлах данных
у нас есть кластер Hadoop ( HDP 2.6.5 кластер с амбари, с 25 машинами узлов данных)
мы используем приложение потоковой передачи искр ( spark 2.1 запускаем Hortonworks 2.6.x )
текущая ситуация такова, что приложения потоковой передачи искры...
108 просмотров
schedule
15.05.2022
Hive 3.1 не может создать внешнюю таблицу, копирующую схему из внутренней / управляемой таблицы.
мы пытаемся создать внешнюю таблицу улья, схема которой похожа на существующую внутреннюю / управляемую таблицу, и на следующем шаге будут вставлены данные для внешней таблицы.
Ниже кода для создания внешней таблицы с копией схемы управляемой...
98 просмотров
schedule
21.05.2022
Hive metastore сбрасывает соединения каждые четыре или шесть часов
**Hive Metastore отключается каждые четыре или шесть часов с сообщением об ошибке, например **
HikariPool-1 - Connection com.mysql.cj.jdbc.ConnectionImpl@6e3a8be9 marked as broken because of SQLSTATE(08S01), ErrorCode(0)...
192 просмотров
schedule
09.07.2022
com.tableausoftware.jdbc.TableauJDBCException: ошибка чтения метаданных для подготовленного запроса
Когда я использую tableau "order jdbc" для подключения к кусту hdp3.1, я получаю эту ошибку, но "extract" работает.
Произошла ошибка при обмене данными с источником данных.
Произошла ошибка при обмене данными с источником данных.
Плохое...
231 просмотров
schedule
21.07.2022
Не удалось обновить сервер Ambari с ошибкой AttributeError: объект NoneType не имеет атрибута title.
Я обновляю сервер ambari версии 2.6 до версии 2.7, следуя этому документу.
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.1.0/bk_ambari-upgrade-major/content/upgrade_ambari.html
Задачи работают отлично до шага 12. Когда я запускаю...
183 просмотров
schedule
18.08.2022
HDFS в док-контейнерах — возможно ли это?
мы используем кластер Hadoop на основе версии HDP — 2.6.5 с платформой ambari
мы хотим знать, можем ли мы использовать следующие компоненты HDFS в док-контейнерах как:
1. journal nodes
2. ZK fail controller
3. NameNode ( HA with active...
118 просмотров
schedule
20.09.2022
Отказано в доступе к порту при запуске прокси-сервера песочницы HDP в Docker (Windows 10)
Я получаю следующую ошибку при попытке запустить песочницу-прокси (proxy-deploy.sh) в докере. Пробовали переустанавливать, перезагружать, проверять существующие используемые порты с помощью netstat -a -n. Ничего не помогло.
Error response from...
3046 просмотров
schedule
30.12.2022
Файлы ORC с Hive: java.io.IOException: два считывателя
У меня есть таблица кустов ACID с файлами в формате ORC. При попытке уплотнения я получаю следующую ошибку: Task: ... exited : java.io.IOException: Two readers for ... Полная ошибка выглядит следующим образом:
2019-06-03 07:01:05,357 ERROR [IPC...
911 просмотров
schedule
13.02.2023
Задание YARN, похоже, имеет доступ к меньшему количеству ресурсов, чем сообщает менеджер Ambari YARN.
Путаться при попытке запустить процесс YARN и получать ошибки. Заглянув в раздел YARN пользовательского интерфейса ambari, вы увидите ... (обратите внимание, что там указано 60 ГБ). Тем не менее, при попытке запустить процесс YARN...
468 просмотров
schedule
21.04.2023
Свойство Bucketby с сохраняемым методом Spark, использующим базу данных spark по умолчанию вместо базы данных hive: HDP 3.0
Я сохраняю Spark DataFrame, используя метод saveAsTable и пишу код ниже.
val options = Map("path" -> hiveTablePath)
df.write.format("orc")
.partitionBy("partitioncolumn")
.options(options)
.mode(SaveMode.Append)...
94 просмотров
schedule
23.04.2023
при установке `yum install python -pip` появляется следующая ошибка в HDP 2.5
http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/2.x/BUILDS/2.4.0.0-1225/repodata/repomd.xml : [Errno 14] PYCURL ERROR 22 - Запрошенный URL-адрес возвратил ошибку: 403 Forbidden Попытка другого зеркала. Чтобы решить эту проблему,...
467 просмотров
schedule
13.12.2023
Apache Spark 2.3.1 с хранилищем метаданных Hive 3.1.0
Мы обновили кластер HDP до версии 3.1.1.3.0.1.0-187 и обнаружили:
Spark не видит базы данных Hive
Похоже, это не реализованная функция Spark . Но единственный способ использовать Spark и Hive начиная с версии 3.0, который я нашел, - это...
5044 просмотров
schedule
06.01.2024
HBase с экспортером JMX BindException
Я развернул HBase на Ambari HDP. Я пытаюсь получить метрики HBase с помощью JMX-экспортера, поэтому добавляю следующую конфигурацию в 'hbase-env':
export HBASE_OPTS="$HBASE_OPTS...
475 просмотров
schedule
01.05.2024
