Я создал приложение для поиска похожих хранилищ изображений в распределенной среде с использованием Hadoop. Но Hadoop не поддерживает обработку в реальном времени, поэтому время отклика велико. Я знаю, что Storm — это еще один фреймворк для приложения для анализа больших данных. Но я запутался, можем ли мы использовать Storm для реализации такого рода приложений.
Кто-нибудь дает совет, какое приложение эффективно использует Storm framework.
Storm — это очень масштабируемая, быстрая, отказоустойчивая система с открытым исходным кодом для распределенных вычислений, в которой особое внимание уделяется потоковой обработке. Storm отлично справляется с обработкой событий и инкрементными вычислениями, вычисляя скользящие метрики в реальном времени по потокам данных.
Обработка потока событий — главная сила Storm.
Обычно Hadoop используется для пакетной обработки. Но Storm — это Hadoop для обработки в реальном времени, а Spark — это распределенная обработка для всех с хранилищем данных в памяти.
Взгляните на этот Storm and Spark и Сравнение стеков
ИЗМЕНИТЬ:
Мое решение этой проблемы
1) Сохраняйте изображения в CMS (системе управления контентом) с CDN, разбросанной по нескольким сетям, а не в базе данных HDFS или NoSQL)
2) Сохраните метаданные идентификатор изображения, имя изображения, MD5SUM, местоположение изображения в таблице HBase.
3) Используйте Spark и HBase для обработки данных изображения, например. удалите повторяющееся изображение, установив флажок MD5SUM
