Ошибка мгновенной недоступности на EMR

Я использую Spark на EMR с одним главным и одним основным узлом, я столкнулся со следующей проблемой:

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.

Я установил java.library.path на / usr / lib / hadoop / lib / native /: / usr / lib / hadoop-lzo / lib / native /

checknative дает мне это на главном и основном узле:

16/04/28 15:03:27 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
16/04/28 15:03:27 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /usr/lib/hadoop/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /usr/lib/hadoop/lib/native/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so

ВЕРСИЯ EMR: emr-4.6.0

Распространение Hadoop: Amazon 2.7.2

Приложения: Spark 1.6.1


amazon-web-services apache-spark hadoop snappy
person ar-ms    schedule 28.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я наконец нашел решение, я установил LD_LIBRARY_PATH, и теперь он работает !!

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native/

Я проделал эту операцию на всех узлах. Надеюсь, это кому-то поможет :)!

person ar-ms    schedule 01.05.2016
comment
Хм, в этом не должно быть необходимости, поскольку мы уже делаем это по умолчанию. Не могли бы вы поделиться своей полной командой spark-submit и, возможно, идентификатором кластера? - person Jonathan Kelly; 05.05.2016