Не удалось установить spark 2.2 в Cloudera Quickstart VM (5.10)

Попробуйте эту команду

sudo /home/cloudera/cloudera-manager --express --force

Пожалуйста, следуйте приведенному ниже видео, в нем есть все необходимые шаги, необходимые для установки Sprak2 в Clouedra VM.

ссылка на YouTube — https://www.youtube.com/watch?v=lQxlO3coMxM

Кроме того, для запуска Cloudera Express (бесплатно) вашей виртуальной машине должно быть выделено не менее 8 ГБ ОЗУ, или, если у вас выделено 4 ГБ ОЗУ по умолчанию, вы можете принудительно начать выполнение команды ниже, а затем следовать приведенному выше видео.

sudo /home/cloudera/cloudera-manager --force --express

Я отказался от этого, ничего не работает с установкой посылок и без посылок.

Как только запускаю cloudera express многочисленные ошибки и Java 7 вместо Java 8.

Я установил виртуальную машину mapr со Spark 2.x. Без вопросов. Работает первый раз.

Это хорошо работает. Это мой совет №1.

Если вы хотите KUDU, то я бы установил Centos и установил все сам. Это совет № 2. Хорошо, вы можете пропустить Impala, но если для чисто исследований и разработок, то не такая уж большая проблема.

С помощью следующих двух команд мой spark2.2 был автоматически обновлен до spark 2.4:

(i) обновление sudo yum

Возможно, ваш домашний путь java испорчен, в этом случае экспортируйте домашний путь java в файл bash.

(а) vi ~/.bash_profile (б) (c) источник ~/.bash_profile

Просто загрузите нужную версию spark, которая вам нужна, сказав «spark-2.2.0-bin-hadoop2.6».

откройте bashrc_profile через редактор vi ~/.bash_profile. Вставьте следующие 2 строки

SPARK_HOME=/home/cloudera/Загрузки/spark-2.2.0-bin-hadoop2.6 PATH=$PATH:$HOME/bin:$SPARK_HOME/bin

Сохраните его. Затем выполните команду: source ~/.bash_profile

Теперь запустите spark-shell . Примечание. Убедитесь, что у вас установлен JDK 1.8.

  SnPARK 2.2 Installation Setup on Cloudera VM

    Step 1: Download a quickstart_vm from the link:
    Prefer a vmware platform as it is easy to use, anyways all the options are viable.
    Size is around 5.4gb of the entire tar file. We need to provide the business email id as it won’t accept personal email ids. 


    Step 2: The virtual environment requires around 8gb of RAM, please allocate sufficient memory to avoid performance glitches.


    Step 3: Please open the terminal and switch to root user as:
             su root
             password: cloudera

    Step 4: Cloudera provides java –version 1.7.0_67 which is old and does not match with our needs. To avoid java related exceptions, please install java with the following commands:
    (a). Downloading Java:
    wget -c --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

    (b). Switch to /usr/java/ directory with “cd /usr/java/” command.

    (c). cp the java download tar file to the /usr/java/ directory.

    (d). Untar the directory with “tar –xvzf jdk-8u31-linux-x64.tar.gz”

    (e). Open the profile file with the command “vi ~/.bash_profile” 

    (f). export JAVA_HOME to the new java directory.
           “export JAVA_HOME=/usr/java/jdk1.8.0_131”

           Save and Exit.


    (g). In order to reflect the above change, following command needs to be executed on the shell:
           source ~/.bash_profile

    Step 5:  The Cloudera VM provides spark 1.6 version by default. However, 1.6 API’s are old and do not match with production environments. In that case, we need to download and manually install Spark 2.2.

    (a). Switch to /opt/  directory with the command:
    “cd /opt/”

    (b). Download spark with the command:
    wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

    (c). Untar the spark tar with the following command:
    tar -xvzf spark-2.2.0-bin-hadoop2.7.tgz

    (d). We need to define some environment variables as default settings:
    Please open a file with the following command:
    vi /opt/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh
    Paste the following configurations in the file:
    SPARK_MASTER_IP=192.168.50.1
    SPARK_EXECUTOR_MEMORY=512m
    SPARK_DRIVER_MEMORY=512m
    SPARK_WORKER_MEMORY=512m
    SPARK_DAEMON_MEMORY=512m
    SPARK_LOCAL_IP=127.0.0.1
    Save and exit

    (e).    We need to start spark with the following command:
    /opt/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh
    Export spark_home : 
    export SPARK_HOME=/opt/spark-2.2.0-bin-hadoop2.7/

    (f). Change the permissions of the directory:
    chmod 777 -R /tmp/hive

    (g). Try “spark-shell”, it should work.

Тот же ответ, что и swapnil shashank с небольшой модификацией ниже

SPARK_LOCAL_IP=127.0.0.1
tar -xvzf spark-2.2.0-bin-hadoop2.7.tgz