Я пытаюсь понять, является ли драйвер Spark единственной точкой отказа при развертывании в кластерном режиме для Yarn. Поэтому я хотел бы лучше понять внутреннюю часть процесса отработки отказа, относящуюся к контейнеру YARN драйвера Spark в этом...

Я новичок в Apache Ignite для интеграции Ignite и spark ， похоже, что Ignite обеспечивает слой в памяти, на котором данные будут жить в приложениях Spark, что является возможностью, которую Tachyon предоставляет как файловую систему в памяти. Итак,...

У меня есть кластер с HDFS в качестве распределенной файловой системы под хранилищем, но я только что прочитал о alluxio , быстром и гибком. Итак, у меня вопрос: следует ли мне использовать Alluxio с HDFS или Alluxio является альтернативой HDFS? (Я...

Я пытаюсь установить alluxio1.2 на виртуальную машину Centos на openstack со spark и hdfs, но установка не работает. Spark и hdfs уже установлены и работают ERROR logger.type (AlluxioMaster.java:main) - Uncaught exception while running...

Я новичок в Tachyon. Я хочу поделиться некоторыми данными или rdd между искровыми заданиями. Обзор тахиона говорит Tachyon - это распределенная система хранения с открытым исходным кодом, ориентированная на память, обеспечивающая надежный...

У меня есть программа драйвера искры, для которой я пытаюсь настроить пользователя alluxio. Я прочитал этот пост: Как передать -D параметр или переменную среды для задания Spark? и, хотя это полезно, ни один из методов там, кажется, не помогает....

Я столкнулся с этой трассировкой стека при выполнении запроса Presto поверх Alluxio. Иногда мой запрос может быть успешным, но иногда он не работает с этой ошибкой. Что это значит и как это исправить? com.facebook.presto.spi.PrestoException:...

Я развернул кластер Alluxio на основе кластера HDFS . Когда я использую Alluxio Native Java Api для записи некоторых файлов в Alluxio с установкой типа записи ASYNC_THROUGH, кажется, что файлы (даже просто имеющие 1G) не записываются в HDFS,...

В Alluxio я могу контролировать ведущий мастер через порт 19998. Но я также хочу контролировать резервный мастер. Однако у резервного мастера нет порта RPC 19998. Есть ли способ контролировать резервный мастер? Я хочу следить за состоянием процесса...

Я использую Spark для записи данных в Alluxio с UFS как S3, используя партиционную секционированную таблицу Hive. Я использую функцию перераспределения в полях раздела Hive, чтобы сделать операцию записи эффективной в Alluxio. Это приводит к...

Я запускаю задание Spark, записывающее в кластер Alluxio с 20 рабочими (Alluxio 1.6.1). Заданию Spark не удалось записать выходные данные из-за alluxio.exception.status.DeadlineExceededException . Рабочий еще жив от Alluxio WebUI. Как мне избежать...

Я запускаю Spark в автономном режиме + Alluxio для доступа к данным. В частности, у меня есть 1 искровой мастер и 1 искровой рабочий. При выполнении моей работы я получаю следующую ошибку: 17/03/22 14:35:43 WARN TaskSetManager: Lost task 0.0...

Редактировать 3: я также пытался установить прокси-сервер maven с помощью параметров java, упомянутых в этой теме . Изменить 2: я уверен, что идея intellij использует тот же файл settings.xml, тот же двоичный файл maven и тот же локальный...