Вопросы по теме 'azure-hdinsight'
Как повысить производительность загрузки данных из таблицы разделов NON в таблицу разделов ORC в HIVE
Я новичок в Hive Querying, я ищу передовые методы получения данных из таблицы Hive. мы включили TeZ с механизмом выполнения и включили векторизацию.
Мы хотим делать отчеты из таблицы Hive, я прочитал из документа TEZ, что ее можно использовать для...
3226 просмотров
schedule
27.11.2021
Ошибка AzCopy из кластера HDInsight в сценарии PowerShell
У меня есть сценарий PowerShell, который создает некоторый вывод с помощью куста на HDinsight. Вывод помещается в локальный большой двоичный объект, а затем я копирую его на локальный компьютер с помощью AzCopy. Я делаю это часто, чтобы получить...
3015 просмотров
schedule
18.09.2021
Как обрабатывать сжатие HDInsight Hbase Major? Hbase недоступен при сильном уплотнении
У нас установлен кластер HDInsight Hbase, и мы наблюдаем, что, хотя происходит значительное сжатие, Hbase становится недоступным для клиентских приложений.
Пожалуйста, предложите, как лучше всего справиться с этим сценарием.
359 просмотров
schedule
07.11.2021
HDInsight: невозможно запустить запрос куста из Visual Studio
Я развернул свой первый кластер HDInsight. Все работает зеленым.
Я хочу выполнить простой запрос Hive. Проблема в том, что в документации говорится об окне редактора Hive, которого я не вижу (...
201 просмотров
schedule
22.09.2021
Как прочитать большой файл массива JSON в PySpark
Проблема
Недавно я столкнулся с проблемой в Azure Data Lake Analytics, когда попытался прочитать файл большого массива JSON UTF-8 и переключился на HDInsight PySpark (v2.x, а не 3) для обработки файла. Размер файла ~ 110 ГБ и ~ 150 м объектов...
2706 просмотров
schedule
05.11.2021
Уведомления HCatalog в HDInsight
Я пытаюсь включить уведомления HCatalog в кластере HDInsight, чтобы отслеживать изменения метаданных.
У меня есть брокер ActiveMQ, работающий на обоих моих головных узлах. Он работает, так как я могу подписаться на него и получать уведомления,...
98 просмотров
schedule
29.09.2021
Копирование файлов / папок в Azure Data Lake Gen1
В Azure Data Lake Storage Gen1 я могу видеть структуру папок, просматривать папки и файлы и т. Д. Я могу выполнять действия с файлами, например переименовывать их / удалять их и т. Д.
Одна операция, которая отсутствует на портале Azure и по другим...
4246 просмотров
schedule
13.11.2021
Невозможно запросить / выбрать данные, вставленные через Spark SQL
Я пытаюсь вставить данные в таблицу Hive Managed с разделом.
Показать вывод создания таблицы для справки.
+--------------------------------------------------------------------------------------------------+--+
|...
571 просмотров
schedule
19.09.2021
Экспорт фрейма данных PySpark в озеро данных Azure займет вечность
Приведенный ниже код отлично работал в автономной версии PySpark 2.4 в Mac OS (Python 3.7), когда размер входных данных (около 6 ГБ) был небольшим. Однако, когда я запустил код в кластере HDInsight (HDI 4.0, т.е. Python 3.5, PySpark 2.4, 4 рабочих...
434 просмотров
schedule
22.11.2021
Azure HDinsight Kafka и настройка kafka для IP-рекламы
Я ищу некоторую информацию о Azure HDInsight Kafka и делаю кафку для рекламы IP-адресов вместо полных доменных имен. Когда мы создаем HDInsight Kafka, по умолчанию он создает внутренние полные доменные имена, предоставленные лазером, и эти полные...
344 просмотров
schedule
15.10.2021
Кластер HDInsight с хранилищем метаданных с использованием ошибки PowerShell
Я пытаюсь создать кластер HDInsight в Azure с Metastore с помощью сценария Powershell. Но он выдает ошибку BadRequest: RegionCapabilityNotAvailable, возможность региона недоступна для региона «Восточная часть США». Но восточная часть США является...
43 просмотров
schedule
12.09.2021
как изменить схему таблицы улья в соответствии с формой csv
как изменить схему таблицы улья в соответствии с формой CSV
Hive [ развернут в Azure HDInsight ] CSV-файлы данных [ в хранилище BLOB-объектов Azure ]
Мое требование:
Например. У меня есть CSV с 3 столбцами A B C и еще один CSV с 3...
150 просмотров
schedule
04.11.2021
Запросы HDInsight Hive не выполняются
Я выполняю запросы Hive в кластере HDinsight (в частности, в кластере HBase). С какого-то момента я перестал получать ответы на запросы. Все они перечислены как «Инициализирующиеся». Перезапуск служб Hive на портале Azure не помогает, и запуск...
130 просмотров
schedule
19.02.2022
Можно ли указать в Azure HDInsight HBASE (HDI 4.0) другой контейнер Data Lake V2, а не контейнер по умолчанию?
Можно ли указать в Azure HDInsight HBASE (HDI 4.0) контейнер в Data Lake V2, отличный от контейнера кластера по умолчанию, чтобы хранить только данные HBASE, поскольку один из наших клиентов хочет, чтобы их данные постоянно хранились в контейнере, и...
60 просмотров
schedule
19.02.2022
Есть ли драйвер jdbc для Spark SQL?
Я ищу клиентский драйвер jdbc, поддерживающий Spark SQL.
До сих пор я использовал Jupyter для выполнения операторов SQL в Spark (работающий в HDInsight), и я хотел бы иметь возможность подключаться с помощью JDBC, чтобы вместо этого я мог...
11490 просмотров
schedule
06.03.2022
Не все узлы используются в кластере
У меня есть кластер Hadoop MR2 из 30 узлов, которым управляет YARN. В настоящее время существует 10 заданий Oozie, каждое из которых запускает одну программу Map. Я заметил, что фактически используются только 11 из 30 узлов; только на 11 узлах есть...
355 просмотров
schedule
04.03.2022
Как установить пользовательское программное обеспечение на рабочие узлы в Azure HDInsight?
Я создал кластер Azure HDInsight с помощью PowerShell. Теперь мне нужно установить на рабочие узлы специальное программное обеспечение, необходимое для картографов, которые я буду запускать с использованием потоковой передачи Hadoop. Я не нашел ни...
797 просмотров
schedule
24.03.2022
Резервное копирование хранилища озера данных
Я работаю над стратегией резервного копирования для Data Lake Store (DLS). Я планирую создать две учетные записи DLS и копировать данные между ними. Я оценил несколько подходов к достижению этого, но ни один из них не удовлетворяет требованию...
1384 просмотров
schedule
07.04.2022
Параметр Azure HDInsight указан неправильно.
Я пытаюсь использовать данные из базы данных SQL Azure с помощью Hadoop (HDInsight).
Чтобы получить данные и выполнить задание, я запускаю следующий код в консольной программе C#:
var jobClient =...
308 просмотров
schedule
13.04.2022
Avro с мгновенным сжатием
Любой указатель на преобразование файла * .dat в * .avro, сжатый с помощью Snappy в .NET Framework 4.5. Я хочу использовать файл avro в моем Hive. Поддерживает ли hive формат Avro из коробки. мне нужно упомянуть serde для чтения файла avro
941 просмотров
schedule
23.04.2022
