У меня есть требование скопировать файлы с HDFS на локальный. Теперь у меня есть 2 варианта. 1) Либо используйте Hadoop Native Java API (FileSystem), либо 2) Используйте WebHDFS [у меня нет проблем с включением его в мой кластер]
Может ли кто-нибудь сообщить мне, какой вариант предпочтительнее и почему?
Если вы используете Java, я рекомендую собственные API-интерфейсы Java, поскольку они более гибкие и дают вам больше контроля.
Однако WebHDFS лучше, если вы не хотите задействовать десятки библиотек, необходимых для Hadoop. Он разделяет ваше приложение и Hadoop. Конечно, вам нужно заплатить небольшую цену за производительность из-за HTTP.
