Вопросы по теме 'webhdfs'
webHDFS curl - согласование в Windows
Следующая команда работает в Linux, но не работает в Windows. Перед запуском команды я использую kinit, чтобы получить действительный билет Kerberos.
curl -v -i --negotiate -u : -b ~/cookiejar.txt -c ~/cookiejar.txt...
306 просмотров
schedule
11.10.2021
Как читать паркетные файлы с удаленной HDFS на Python с помощью Dask / pyarrow
Пожалуйста, помогите мне с чтением файлов паркета с удаленной файловой системы HDFS, т.е .; установка на сервере Linux с использованием Dask или pyarrow в python?
Также предложите мне, есть ли лучшие способы сделать то же самое, кроме двух...
723 просмотров
schedule
22.09.2021
Как загрузить файл из EFS (WinSCP) в WebHDFS (Hue / Cloudera) в PowerShell?
Я пытался разбить эту проблему на две части, чтобы автоматизировать это:
PowerShell: перенос файла с локального рабочего стола в EFS (через WinSCP) - ОК
PowerShell: получите тот же файл в EFS (через WinSCP) и поместите его в Cloudera WebHDFS (мы...
81 просмотров
schedule
09.10.2021
Как загрузить несколько файлов в HDFS через шлюз KNOX WebHDFS?
У меня есть шлюз KNOX для нашего кластера Hadoop, и я просмотрел примеры KNOX WebHDFS. Пока я знаю, что приведенные ниже команды cURL можно использовать для создания каталога и загрузки одного файла.
curl -k -u username:password -X PUT...
932 просмотров
schedule
30.03.2022
Hadoop Java Client API портит мой fsURI
Я пытаюсь получить доступ к HDFS в песочнице Hadoop с помощью Java API из приложения Spring Boot. Чтобы указать URI для доступа к файловой системе, я использую параметр конфигурации spring.hadoop.fsUri . Сама HDFS защищена Apache Knox (который для...
523 просмотров
schedule
30.05.2022
Доступ к защищенной Kerberos WebHDFS без SPnego
У меня есть рабочее приложение для управления HDFS с помощью WebHDFS. Мне нужно иметь возможность сделать это в защищенном кластере Kerberos.
Проблема в том, что нет библиотеки или расширения для согласования билета для моего приложения, у меня...
1848 просмотров
schedule
31.05.2022
Загрузить данные из HDFS в Vertica
Я получаю следующую ошибку при загрузке данных из HDFS в Vertica
Я просто прекращаю работу с ранее работающей базой данных и создаю новую базу данных в Vertica. Затем я побежал
vsql -f [AggregateFunctions.sql, AnalyticFunctions.sql,...
1873 просмотров
schedule
01.07.2022
Вычисление контрольной суммы в WebHdfs
Когда файл загружается с использованием «hdfs dfs -put», клиент вычисляет контрольную сумму и отправляет входные данные + контрольную сумму в Datanode для сохранения.
Как происходит вычисление/проверка контрольной суммы, когда файл...
160 просмотров
schedule
05.07.2022
hdfs dfs -ls webhdfs:// не перечисляет все файлы
Когда я запускаю следующую команду, в ней отображается 91 файл.
hdfs dfs -ls /данные
Но когда я использую следующую команду, она возвращает только 89 файлов.
hdfs dfs -ls webhdfs://x.x.x.x:14000/данные
Что может быть причиной?
132 просмотров
schedule
18.08.2022
webhdfs перенаправляет на localhost: 50075
Я пытаюсь создать файл из среды, отличной от Hadoop, на удаленный hdfs. Для этой цели я использую pywebhdfs API и запускаю команду с помощью curl. https://pythonhosted.org/pywebhdfs/ Я использовал эту документацию в качестве справки, я могу...
356 просмотров
schedule
18.08.2022
Hadoop File Copy Собственный Java API против WebHDFS
У меня есть требование скопировать файлы с HDFS на локальный. Теперь у меня есть 2 варианта. 1) Либо используйте Hadoop Native Java API (FileSystem), либо 2) Используйте WebHDFS [у меня нет проблем с включением его в мой кластер]
Может ли...
696 просмотров
schedule
20.08.2022
Хранение паркета в защищенных Kerberos Webhdfs из Spark
Я пишу по пути webhdfs , защищенному Kerberos , от Spark . И часть его действительно работает, но ломается при записи файлов паркета в (web)hdfs расположение.
Аутентификация и авторизация работают, и сценарий создает структуру пути,...
655 просмотров
schedule
27.08.2022
создать файл с помощью webHdfs
Я хотел бы создать файл в hdfs с помощью webhdfs, я написал функцию ниже
public ResponseEntity createFile(MultipartFile f) throws URISyntaxException {
URI uriPut = new URI(
webhdfsBaseurl+...
101 просмотров
schedule
30.08.2022
Доступ к веб-файлам, защищенным kerberos, из приложения .Net (консоли)
Я не могу получить доступ к WebHDFS из браузера из-за безопасности Kerberos. Кто-нибудь может мне с этим помочь?
Ниже приведена ошибка в браузере для «http://****.****/webhdfs/v1/prod/snapshot_rpx/archive?op=LISTSTATUS&user.name=us»
ОШИБКА...
1243 просмотров
schedule
04.09.2022
Как аутентифицировать WebHDFS с помощью С#
Я пытался загрузить файлы с помощью С# в Hadoop, используя REST API WebHDFS. Этот код работает нормально:
using (var client = new System.Net.WebClient())
{
string result = client.DownloadString("http:/...
2138 просмотров
schedule
10.09.2022
операция добавления в клиенте Hadoop webhdfs
Java-клиент, который я собрал, работает:
import java.io.File;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FSDataOutputStream;
import...
3932 просмотров
schedule
26.11.2022
Webhdfs возвращает неправильный адрес узла данных
curl -i -X PUT "http://SomeHostname:50070/webhdfs/v1/file1?op=CREATE"
HTTP/1.1 307 TEMPORARY_REDIRECT
Content-Type: application/octet-stream
Location: http://sslave0:50075/webhdfs/v1/file1?op=CREATE&overwrite=false
Content-Length: 0
Server:...
1255 просмотров
schedule
25.02.2023
Как проверить статус HDFS SafeMode через WebHDFS?
Существуют ли какие-либо RestAPI для проверки состояния безопасного режима HDFS? В настоящее время используете приведенную ниже команду для получения статуса?
hadoop dfsadmin -safemode get
Спасибо
446 просмотров
schedule
24.10.2022
Отправьте команду cURL PUT для программного создания файла в webhdfs на С++ с использованием libcurl
Я пытаюсь сохранить файлы в HDFS из приложения, написанного на C++. Я знаю, что вы можете использовать curl в командной строке/терминале:
Сначала отправьте запрос PUT,
1) curl -i -X PUT...
2607 просмотров
schedule
04.01.2023
webhdfs всегда перенаправляет на localhost: 50075
У меня есть кластер hdfs (hadoop 2.7.1) с одним namenode, одним вторичным namenode, 3 узлами данных.
Когда я включаю webhdfs и тестирую, я обнаружил, что он всегда перенаправляется на «localhost: 50075», который не настроен как узлы данных....
2157 просмотров
schedule
11.01.2023
