Как настроить Apache Spark и Zeppelin на Docker

Я пытаюсь настроить среду разработки Spark с Zeppelin на Docker, но у меня возникают проблемы с подключением контейнеров Zeppelin и Spark.

Я развертываю Docker Stack с текущим docker-compose

version: '3'
services:

  spark-master:
    image: gettyimages/spark
    command: bin/spark-class org.apache.spark.deploy.master.Master -h spark-master
    hostname: spark-master
    environment:
      SPARK_CONF_DIR: /conf
      SPARK_PUBLIC_DNS: 10.129.34.90
    volumes:
      - spark-master-volume:/conf
      - spark-master-volume:/tmp/data
    ports: 
      - 8000:8080

  spark-worker:
    image: gettyimages/spark
    command: bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
    hostname: spark-worker
    environment:
      SPARK_MASTER_URL: spark-master:7077
      SPARK_CONF_DIR: /conf
      SPARK_PUBLIC_DNS: 10.129.34.90
      SPARK_WORKER_CORES: 2
      SPARK_WORKER_MEMORY: 2g
    volumes:
      - spark-worker-volume:/conf
      - spark-worker-volume:/tmp/data
    ports:
      - "8081-8100:8081-8100" 

  zeppelin:
    image: apache/zeppelin:0.8.0
    ports: 
      - 8080:8080
      - 8443:8443
    volumes:
      - spark-master-volume:/opt/zeppelin/logs
      - spark-master-volume:/opt/zeppelin/notebookcd
    environment:
      MASTER: "spark://spark-master:7077"
      SPARK_MASTER: "spark://spark-master:7077"
      SPARK_HOME: /usr/spark-2.4.1
    depends_on:
      - spark-master

volumes:
  spark-master-volume:
    driver: local
  spark-worker-volume:
    driver: local

Собирается нормально, но когда я пытаюсь запустить Spark на Zeppelin, меня выкидывает:

java.lang.RuntimeException: /zeppelin/bin/interpreter.sh: line 231: /usr/spark-2.4.1/bin/spark-submit: No such file or directory

Думаю, проблема в объемах, но не понимаю, как это сделать правильно.


docker docker-compose apache-spark apache-zeppelin
person Krogiar    schedule 24.08.2019    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Вам нужно установить Spark на свой экземпляр докера zeppelin, чтобы использовать Spark-submit, и обновить конфигурацию интерпретатора искры, чтобы он указывал на ваш Spark-кластер.

zeppelin_notebook_server:
    container_name: zeppelin_notebook_server
    build:
      context: zeppelin/
    restart: unless-stopped
    volumes:
      - ./zeppelin/config/interpreter.json:/zeppelin/conf/interpreter.json:rw
      - ./zeppelin/notebooks:/zeppelin/notebook
      - ../sample-data:/sample-data:ro
    ports:
      - "8085:8080"
    networks:
      - general
    labels:
      container_group: "notebook"

  spark_base:
    container_name: spark-base
    build:
      context: spark/base
    image: spark-base:latest

  spark_master:
    container_name: spark-master
    build:
      context: spark/master/
    networks:
      - general
    hostname: spark-master
    ports:
      - "3030:8080"
      - "7077:7077"
    environment:
      - "SPARK_LOCAL_IP=spark-master"
    depends_on:
      - spark_base
    volumes:
      - ./spark/apps/jars:/opt/spark-apps
      - ./spark/apps/data:/opt/spark-data
      - ../sample-data:/sample-data:ro

  spark_worker_1:
    container_name: spark-worker-1
    build:
      context: spark/worker/
    networks:
      - general
    hostname: spark-worker-1
    ports:
      - "3031:8081"
    env_file: spark/spark-worker-env.sh
    environment:
      - "SPARK_LOCAL_IP=spark-worker-1"
    depends_on:
      - spark_master
    volumes:
      - ./spark/apps/jars:/opt/spark-apps
      - ./spark/apps/data:/opt/spark-data
      - ../sample-data:/sample-data:ro

  spark_worker_2:
    container_name: spark-worker-2
    build:
      context: spark/worker/
    networks:
      - general
    hostname: spark-worker-2
    ports:
      - "3032:8082"
    env_file: spark/spark-worker-env.sh
    environment:
      - "SPARK_LOCAL_IP=spark-worker-2"
    depends_on:
      - spark_master
    volumes:
      - ./spark/apps/jars:/opt/spark-apps
      - ./spark/apps/data:/opt/spark-data
      - ../sample-data:/sample-data:ro

Файл докеров Zeppelin:

FROM "apache/zeppelin:0.8.1"

RUN wget http://apache.mirror.iphh.net/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz --progress=bar:force && \
    tar xvf spark-2.4.3-bin-hadoop2.7.tgz && \
    mkdir -p /usr/local/spark && \
    mv spark-2.4.3-bin-hadoop2.7/* /usr/local/spark/. && \
    mkdir -p /sample-data

ENV SPARK_HOME "/usr/local/spark/"

Убедитесь, что ваша конфигурация интерпретатора zeppelin spark такая же, как: Конфигурация интерпретатора Zeppelin Spark

person Sumit Agarwal    schedule 25.08.2019

arrow_upward
0
arrow_downward

Создайте Dockerfile с содержимым

FROM gettyimages/spark

ENV APACHE_SPARK_VERSION 2.4.1
ENV APACHE_HADOOP_VERSION 2.8.0
ENV ZEPPELIN_VERSION 0.8.1

RUN apt-get update 
RUN set -x \
    && curl -fSL "http://www-eu.apache.org/dist/zeppelin/zeppelin-0.8.1/zeppelin-0.8.1-bin-all.tgz" -o /tmp/zeppelin.tgz \
    && tar -xzvf /tmp/zeppelin.tgz -C /opt/ \
    && mv /opt/zeppelin-* /opt/zeppelin \
    && rm /tmp/zeppelin.tgz 

ENV SPARK_SUBMIT_OPTIONS "--jars /opt/zeppelin/sansa-examples-spark-2016-12.jar"
ENV SPARK_HOME "/usr/spark-2.4.1/"

WORKDIR /opt/zeppelin

CMD ["/opt/zeppelin/bin/zeppelin.sh"]

а затем определите свою службу в файле docker-compose.yml с префиксом

version: '3'
services:
  zeppelin:
    build: ./zeppelin
    image: zeppelin:0.8.1-hadoop-2.8.0-spark-2.4.1
    ...

Наконец, используйте docker-compose -f docker-compose.yml build для создания настроенного образа перед docker stack deploy

person user3784659    schedule 22.04.2020