Как подключить Orion к общедоступному экземпляру Cosmos.lab.fi-ware.org с помощью Cygnus

Я пытаюсь сохранить данные Orion в общедоступном экземпляре cosmos.lab.fi-ware.org с помощью Cygnus. Cygnus запущен и работает, и часть HDFSSink моего файла /usr/cygnus/conf/agent_1.conf выглядит следующим образом:

# OrionHDFSSink configuration cygnusagent.sinks.hdfs-sink.channel = hdfs-channel cygnusagent.sinks.hdfs-sink.type = com.telefonica.iot.cygnus.sinks.OrionHDFSSink cygnusagent.sinks.hdfs-sink.enable_grouping = false cygnusagent.sinks.hdfs-sink.backend_impl = rest cygnusagent.sinks.hdfs-sink.hdfs_host = cosmos.lab.fi-ware.org cygnusagent.sinks.hdfs-sink.hdfs_port = 14000 cygnusagent.sinks.hdfs-sink.hdfs_username = myUsernameInCosmosLabInstance cygnusagent.sinks.hdfs-sink.hdfs_password = myPasswordInCosmosLabInstance cygnusagent.sinks.hdfs-sink.oauth2_token = myTokenForCosmosLabInstance cygnusagent.sinks.hdfs-sink.hive = true cygnusagent.sinks.hdfs-sink.hive.server_version = 2 cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lablfi-ware.org cygnusagent.sinks.hdfs-sink.hive.port = 10000 cygnusagent.sinks.hdfs-sink.hive.db_type = default-db

Я добавляю новую подписку с Cygnus в качестве эталонной конечной точки и отправляю обновление в ранее созданный NGSIEntity, но в моем экземпляре cosmos.lab.fi-ware.org ничего не появляется. При просмотре /var/log/cygnus/cygnus.log я не нашел ничего полезного и нашел несколько ошибок Java.

Я использую Orion v. 0.28 и Cygnus v. 0.13.


fiware-orion fiware-cygnus fiware-cosmos
person José Castillo Lema    schedule 01.03.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Как говорится в журнале:

Could not open connection to jdbc:hive2://cosmos.lablfi-ware.org:10000/default: java.net.UnknownHostException: cosmos.lablfi-ware.org

Вы должны настроить правильную конечную точку Hive:

cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lab.fiware.org

Вместо:

cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lablfi-ware.org

ПРИМЕЧАНИЕ. Возможно, вы заметили, что я использовал cosmos.lab.fiware.org. И cosmos.lab.fiware.org, и cosmos.lab.fi-ware.org допустимы, но предпочтительнее первый.

person frb    schedule 04.03.2016
comment
Спасибо @frb! Данные успешно созданы в виде таблицы в кусте экземпляра space.lab.fi-ware.org. Мне было интересно, не должен ли он быть создан также в виде файла? Я вижу эту строку в журнале, но в папке моего пользователя не создается файл: function=persistAggregation | Persisting data at OrionHDFSSink. HDFS file (def_serv/def_servpath/Room1_Room/Room1_Room.txt), и я нигде не могу найти этот файл Room1_Room.txt. - person José Castillo Lema; 07.03.2016
comment
Такой файл должен находиться под вашим пользовательским пространством Cosmos, то есть под hdfs://user/josecastillolema/. На самом деле он там есть (видел как суперпользователь): # hadoop fs -ls /user/josecastillolema/def_serv/def_servpath/Room1_Room/Room1_Room.txt Found 1 items -rw-r--r-- 3 josecastillolema josecastillolema 6098 2016-03-06 21:51 /user/josecastillolema/def_serv/def_servpath/Room1_Room/Room1_Room.txt - person frb; 07.03.2016

arrow_upward
0
arrow_downward

Чтобы найти данные, которые Orion сохранял в моем глобальном экземпляре Cosmos:

  1. От Hadoop:

# hive hive> select * from myUsernameInCosmosLabInstance_def_serv_def_servpath_room1_room_column;

  1. Альтернативный метод:

# hadoop fs -ls /user/myUsernameInCosmosInstance/def_serv/def_servpath/Room1_Room/Room1_Room.txt

person José Castillo Lema    schedule 17.03.2016