Статус команды останавливает создание задания WordCountTopology после отправки топологии.

Я попытался построить кластер Heron, используя Apache Mesos, Apache Aurora, ZooKeeper и HDFS. Однако, когда я отправляю WordCountTopology после ее завершения, команда выводит следующее: Остановка «Создание задания WordCountTopology».

yitian@ubuntu:~/.heron/conf/aurora$ heron submit aurora/yitian/devel --config-path ~/.heron/conf ~/.heron/examples/heron-api-examples.jar com.twitter.heron.examples.api.WordCountTopology WordCountTopology
[2018-02-13 06:58:30 +0000] [INFO]: Using cluster definition in /home/yitian/.heron/conf/aurora
[2018-02-13 06:58:30 +0000] [INFO]: Launching topology: 'WordCountTopology'
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/yitian/.heron/lib/uploader/heron-dlog-uploader.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/yitian/.heron/lib/statemgr/heron-zookeeper-statemgr.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.JDK14LoggerFactory]
[2018-02-13 06:58:31 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Starting Curator client connecting to: heron01:2181  
[2018-02-13 06:58:31 -0800] [INFO] org.apache.curator.framework.imps.CuratorFrameworkImpl: Starting  
[2018-02-13 06:58:31 -0800] [INFO] org.apache.curator.framework.state.ConnectionStateManager: State change: CONNECTED  
[2018-02-13 06:58:31 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Directory tree initialized.  
[2018-02-13 06:58:31 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Checking existence of path: /home/yitian/heron/state/topologies/WordCountTopology  
[2018-02-13 06:58:34 -0800] [INFO] com.twitter.heron.uploader.hdfs.HdfsUploader: The destination directory does not exist. Creating it now at URI '/home/yitian/heron/topologies/aurora'  
[2018-02-13 06:58:37 -0800] [INFO] com.twitter.heron.uploader.hdfs.HdfsUploader: Uploading topology package at '/tmp/tmpvYzRv7/topology.tar.gz' to target HDFS at '/home/yitian/heron/topologies/aurora/WordCountTopology-yitian-tag-0--8268125700662472072.tar.gz'  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Created node for path: /home/yitian/heron/state/topologies/WordCountTopology  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Created node for path: /home/yitian/heron/state/packingplans/WordCountTopology  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Created node for path: /home/yitian/heron/state/executionstate/WordCountTopology  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.scheduler.aurora.AuroraLauncher: Launching topology in aurora  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.scheduler.utils.SchedulerUtils: Updating scheduled-resource in packing plan: WordCountTopology  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Deleted node for path: /home/yitian/heron/state/packingplans/WordCountTopology  
[2018-02-13 06:58:41 -0800] [INFO] com.twitter.heron.statemgr.zookeeper.curator.CuratorStateManager: Created node for path: /home/yitian/heron/state/packingplans/WordCountTopology  
INFO] Creating job WordCountTopology

Heron Tracker показывает:

status  "success"
executiontime   0.00007081031799316406
message ""
version "0.17.1"
result  {}

Пользовательский интерфейс Heron ничего не показывает: введите здесь описание изображения

Планировщик Aurora работает как: введите здесь описание изображения

Кроме того, у него есть два хоста в кластере.

  1. Мастер по имени heron01, управляющий Mesos Master, zookeeper и Aurora Scheduler.
  2. Раб по имени heron02, управляющий Mesos slave, Aurora Observer и Executor.

Я могу открыть Observer(heron02:1338) и Executor(heron02:5051) с помощью веб-сайта. Я не знаю, где я сделал ошибку. Конфигурация кластера настолько сложна, что я не могу показать ее полностью. Вы можете увидеть мой веб-сайт о конфигурации кластера. Я извиняюсь, что мой веб-сайт написан на китайском языке, но я полагаю, что вы можете понять содержимое файла конфигурации на веб-сайте. Блог здесь Большое спасибо за вашу помощь.


person Yitian Zhang    schedule 13.02.2018    source источник


Ответы (1)


Эта проблема вызвана недостатком ресурсов кластера. Когда планировщик Aurora запланировал экземпляры на рабочий узел в кластере Heron, если у рабочего узла недостаточно ресурсов для выделения экземпляра, экземпляр будет находиться в состоянии ожидания, ожидая появления рабочего узла с достаточными ресурсами в кластере. Таким образом, эта проблема была решена путем увеличения ресурсов оперативной памяти рабочей ноды в кластере Heron.

person Yitian Zhang    schedule 10.09.2018