Какие есть варианты массовой / пакетной загрузки данных в Apache Geode (Gemfire)?

Нам нужно загрузить миллионы ключей / значений в Apache Geode, и мы хотели бы знать, какие варианты доступны. Наши значения находятся в диапазоне 256 КБ.


geode gemfire spring-data-gemfire
person Newbie    schedule 18.07.2017    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Есть несколько вариантов в зависимости от требований вашего приложения / соглашений об уровне обслуживания, а также от того, нужно ли вам выполнить преобразование или другие преобразования и т. Д.

  1. По умолчанию Apache Geode предоставляет Cache & Служба создания снимков региона. Это полезно, например, когда вы хотите перенести данные из одного существующего кластера Apache Geode в другой. Не так полезно, если ваши данные поступают из внешнего источника, такого как СУБД.

  2. Другой вариант - лениво загружать данные при необходимости. Этого можно добиться путем реализации интерфейса CacheLoader < / a> и регистрация CacheLoader в регионе. Очевидно, вы могли бы создать CacheLoader реализацию, которая интеллектуально загружает блок данных на основе некоторых правил / критериев в дополнение к загрузке и возврату единственного значения интересов на основе текущих запросов.

  3. Часто пользователи создают внешний настраиваемый процесс или инструмент преобразования для извлечения, преобразования и массовой загрузки (ETL) набора данных в Apache Geode. Это типично для сложных вариантов использования или требований. Тем не менее, настоятельно рекомендуется использовать, возможно, фреймворк / инструмент, например ...

  4. Spring XD (теперь Spring Cloud Data Flow в Cloud Foundry Pivotal (PCF) ) - отличный инструмент и конвейер ETL для создания потоковых приложений. Spring XD / SCDF предоставляет множество различных вариантов для " источники "и" приемники "(например, GemFire ​​Server). Помимо источников и приемников, вы можете даже "коснуться" потока для обработки данных с помощью " Процессоры". Итак, выполняете ли вы потоковые или пакетные операции с данными в реальном времени (например, массовую загрузку), Spring XD - отличный вариант.

  5. Я уверен, что Google может предоставить другие ответы о том, как выполнить ETL с хранилищем KeyValue, таким как Apache Geode.

Надеюсь, это поможет вам начать работу.

Привет, Джон

person John Blum    schedule 20.07.2017

arrow_upward
1
arrow_downward

У нас очень ограниченные возможности для загрузки регионов Gemfire.

1) Весенняя партия:

  • Создайте писатель Gemfire для загрузки и удаления данных
  • Создайте пакетную конфигурацию и отправьте ее

2) Apache Spark

person vaquar khan    schedule 04.02.2020