Вопросы по теме 'spring-xd'
Spring XD: возможно ли иметь несколько заданий в одном модуле
Я использую Spring XD для выполнения пакетной задачи, которая сама по себе разделена на два отдельных задания, находящихся в одном и том же модуле (job :). Теперь я новичок в Spring XD / Batch, поэтому у меня есть только базовое представление о...
285 просмотров
schedule
26.10.2021
Исключение при развертывании пакетного задания Spring в SpringXD Singlenode
Исключение при развертывании пакетного задания Spring в SpringXD Singlenode (распространение 1.2.0)
Пожалуйста, дайте мне знать, как это исключение можно исправить (или) какие-либо дополнительные сведения, необходимые...
587 просмотров
schedule
08.11.2021
Можно ли определить несколько ответвлений в одном потоке Spring XD
Для Spring XD 1.3.1, с использованием транспорта Rabbit MQ, распространяется.
Нужны пояснения о том, как работают ответвители Spring XD для показателей. Мне нужно знать, можно ли использовать один поток несколько раз, чтобы каждое сообщение через...
99 просмотров
schedule
14.10.2021
Rabbitmq устанавливает повторную настройку весной xd
1) опция spring-xd rabbitmq 'Requeue = false' не работает. ниже оба результата настройки одинаковы. Я был установлен для параметра «Requeue» значение «false», но rabbitmq всегда пытается выполнить повторную постановку (= повтор). Есть ли...
103 просмотров
schedule
25.11.2021
Spring-xd Kafka Sink (файл) написать ascii-код
Я тестирую apache-kafka с помощью spring-xd.
Я следую этому примеру. http://spring.io/blog/2015/04/15/using-apache-kafka-for-integration-and-data-processing-pipelines-with-spring
Он отлично работает, и я запускаю spring-xd.
xd> stream...
538 просмотров
schedule
13.05.2022
Spring Batch — Чтение файлов из Aws S3
Я пытаюсь прочитать файлы с AWS S3 и обработать их с помощью Spring Batch:
Может ли Spring Itemreader обработать эту задачу? Если да, то как мне передать учетные данные клиенту S3 и настроить мой spring xml для чтения файла или нескольких файлов?...
11565 просмотров
schedule
26.05.2022
Ошибка при выполнении скрипта Pig с использованием Spring xd
Я пытаюсь выполнить фрагмент кода свиньи с помощью Spring xd, но не могу этого сделать. Я создал задание, используя следующую команду
job create --name Pig_job --definition "PigTest" --deploy
Определение задания PigTest определяется...
273 просмотров
schedule
08.06.2022
Каковы шаги по обновлению Spring XD с помощью подключаемого модуля Ambari?
Я успешно установил Spring XD 1.2.0 RC1 на HDP 2.2 с помощью плагина Ambari. Теперь, когда вышел Spring XD 1.2.0 GA, как мне обновить мою установку?
113 просмотров
schedule
22.06.2022
Как я могу передать билет Kerberos в приложение Spring Yarn
Я пытаюсь запустить приложение Simple Single Project Yarn, подробно описанное здесь . Я развернул приложение в виде JAR-файла в нашем кластере Hadoop. При попытке запустить я получаю исключение, трассировка стека ниже:
[2015-06-04 14:10:45.866]...
1552 просмотров
schedule
24.06.2022
параметры конфигурации для разных модулей в экземплярах xd
У меня запущено 3 контейнера spring xd, 1 сервер администратора и 1 зоопарк с кроликом в качестве транспорта. У нас есть средство извлечения файлов s3, которое извлекает огромный файл из ведра s3. Теперь проблема заключается в том, что повторяющиеся...
47 просмотров
schedule
25.06.2022
создание собственного приемника веб-сокетов для spring-xd
Я новичок в spring-xd, и мне нужен совет по созданию собственного приемника. В частности, я хотел бы создать приемник, который регистрирует Websocket. Общая идея заключается в том, что
module upload --file "websocket-sink-0.0.1-SNAPSHOT.jar"...
573 просмотров
schedule
07.07.2022
Как использовать собственный кодировщик/декодер tcp весной xd
В документации показано, как использовать небольшой набор декодеров/кодировщиков tcp (CR, LF, несколько других). У меня есть полезные данные, разделенные 2 байтами 0x1C 0x0D. Как проще всего указать это в определении потока? Или мне придется создать...
103 просмотров
schedule
12.07.2022
Прочтите объект приложения из GemFire с помощью Spring Data GemFire. Данные, хранящиеся с использованием gemfire-json-server SpringXD
Я использую модуль gemfire-json-server в SpringXD для заполнения сетки GemFire json-представлением объектов «Порядок». Я понимаю, что модуль gemfire-json-server сохраняет данные в форме Pdx в GemFire. Я хотел бы прочитать содержимое сетки GemFire...
1439 просмотров
schedule
20.07.2022
Интеграция Spring XD с песочницей hortonworks
Я пытаюсь выполнить учебник Hortonworks «Использование Spring XD для потоковой передачи твитов в Hadoop для анализа настроений».
В рамках шага я использую команду:
xd>xd-shell --hadoopDistro hadoop20
xd> hadoop config fs --namenode...
542 просмотров
schedule
25.07.2022
улучшить параллелизм именованного канала весной xd
У меня есть 2 потока, как показано ниже, и транспорт - кролик
stream1 source|processor|processor>namedchannel
stream2 namedchannel>processor|processor|sink
Я вижу, что много сообщений забито в именованном канале, и мне нравится...
66 просмотров
schedule
14.08.2022
Spring XD 1.2.1 Доступ к контейнеру Jolokia
Какой порт HTTP по умолчанию для доступа Jolokia в контейнере Spring XD 1.2.1? Раньше Джолокия работала над предыдущими версиями XD, но, похоже, что-то изменилось.
Мы изменили значение XD_JMX_ENABLED в server.yml, т.е.
XD_JMX_ENABLED: true...
121 просмотров
schedule
08.09.2022
Обработка ошибок в SpringXD
Я настроил Redis как MessageBus для своей установки spring-xd. Когда мой поток терпит неудачу, данные помещаются в очереди ошибок. Я пытаюсь прочитать их и вернуть обратно в очереди назначения. Но я не вижу, чтобы мои модули Sink получали данные....
37 просмотров
schedule
05.09.2022
Пакетное задание Spring-xd для приема данных из kafka в hdfs
Как загрузить данные из kafka в hdfs с помощью пакетного задания spring-xd? Я хотел бы иметь пакетное задание, которое планируется запускать один раз в день. Как я могу отслеживать смещения в kafka?
412 просмотров
schedule
09.09.2022
java.lang.ClassCastException: org.quartz.simpl.SimpleThreadPool нельзя преобразовать в org.quartz.spi.ThreadPool
Я создаю собственный модуль (приемник) весной Xd. Мне нужно создавать файл с регулярным интервалом в 4 часа, либо я получаю данные, либо не получаю данные в http-источнике. Я использую кварц-2.2.1.jar с spring- xd-1.2.0.RELEASE-dist и моя...
1318 просмотров
schedule
03.10.2022
Spring XD: цепочка конвейеров с разделением, объединением и локальным выполнением
Я хотел бы добиться следующего:
Учитывая список URL-адресов (изображения в формате png), загрузите файлы в параллельных процессах (разделите)
Преобразование формата файла для загруженных файлов в параллельных процессах (например, png2jpg в.png...
565 просмотров
schedule
27.05.2023
