Преимущество использования облачного потока данных Spring вместо весеннего пакета

Нам нужно написать приложение для ежедневного чтения плоского файла и записи в таблицу базы данных. Мы планируем использовать Spring Batch для выполнения этой работы.

Ограничение и дополнение, которые мы ищем,

1. Само приложение будет работать на одной виртуальной машине. Он никогда не будет развернут более чем на одной виртуальной машине в любое время.

2. И у нас могут быть другие файлы в будущем, чтобы следовать тому же шаблону.

В этом сценарии использование Spring Data Flow предоставляет какие-либо функции или преимущества по сравнению с весенним пакетом?


person user3720735    schedule 22.12.2016    source источник
comment
Я также смотрю на Batch и теперь рассматриваю вместо этого SCDF ... Что вы в итоге использовали? Любая обратная связь?   -  person Adriaan    schedule 15.01.2018


Ответы (1)


Я попытался обобщить общие возможности функций и упрощение, которое предлагает Spring Cloud Data Flow (SCDF) в этом SO thread - возможно, это может быть полезно.

В твоем случае,

Само приложение будет работать на одной виртуальной машине. Он никогда не будет развернут более чем на одной виртуальной машине в любое время.

Не уверен, что это вопрос или требование. Я предполагаю, что вам интересно, как масштабировать пакетную операцию.

Если у вас есть удаленный раздел пакетное задание, в зависимости от количества workers, которые вы настроили, каждый из них запускается в отдельном процессе/контейнере, а шаг master, определенный в вашем пакетном задании, координирует рабочие процессы и разделы данных. Это может быть примером параллельной работы — вот пример.

И у нас могут быть другие файлы в будущем, чтобы следовать тому же шаблону.

Отлично. После того как вы определили и зарегистрировали свое пакетное задание в SCDF, вы можете запустить/перезапустить его в любое время. Для этого вы должны использовать REST-API SCDF, Shell или Dashboard.

В зависимости от платформы среды выполнения, на которой вы запускаете SCDF + пакетное задание, вы можете воспользоваться планировщиком для конкретной платформы, чтобы запланировать пакетное задание через REST-API, представленные в SCDF.

person Sabby Anandan    schedule 26.12.2016