Вопросы по теме 'apache-samza'

Предупреждение MetricsSnapshotReporterFactory в задании samza
Я получаю следующее предупреждение в задании samza: [основная] ПРЕДУПРЕЖДЕНИЕ o.a.s.m.r.MetricsSnapshotReporterFactory.warn(66) — Не удалось найти версию реализации в метаинформации jar. По умолчанию 0.0.1. Как я могу это исправить? Что...
48 просмотров
schedule 01.08.2022

Как samza генерирует container.id, когда приложение развернуто в пряже?
Может кто-нибудь сообщить мне, как samza генерирует samza.container.id/ SAMZA_CONTAINER_ID , когда приложение развернуто в пряже? Я просмотрел кодовую базу samza, но не смог найти логику для генерации samza.container.id
20 просмотров
schedule 08.08.2022

Требует ли Samza OutgoingMessageEnvelope SerDe для partitionKey и как его указать?
Аналогично how- can-you-create-a-partition-on-a-kafka-topic-using-samza Мне нужно создать сообщение, контролирующее его маршрутизацию с помощью partitionKey. для ключа и сообщения требуется SerDe, но я не уверен, что и partitionKey тоже. Если да,...
239 просмотров
schedule 09.09.2022

Обработка потока для каждого пользователя
Мне нужно обрабатывать данные из набора потоков, применяя ту же разработку к каждому потоку независимо от других потоков. Я уже видел такие фреймворки, как storm, но похоже, что он позволяет обрабатывать только статические потоки (т.е. твиты из...
231 просмотров

Фреймворковые приложения Storm
Я создал приложение для поиска похожих хранилищ изображений в распределенной среде с использованием Hadoop. Но Hadoop не поддерживает обработку в реальном времени, поэтому время отклика велико. Я знаю, что Storm — это еще один фреймворк для...
117 просмотров

Проблемы при загрузке файлов свойств из задания Samza, запущенного в кластере пряжи
У меня есть задание samza, которое я пытаюсь запустить в кластере пряжи, используя ./bin/run-job.sh --config-factory = org.apache.samza.config.factories.PropertiesConfigFactory --config-path = file: ///home/anshu/samzaJob.properties...
116 просмотров

Как развернуть задание samza на удаленном диспетчере ресурсов Yarn
Мы выполняем работу самзы на пряже Hadoop. До сих пор мы развертывали задание вручную, вызывая run-job.sh на хосте Resource Manager. run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory...
429 просмотров
schedule 01.11.2022

Увеличьте уровень ведения журнала в Apache Samza
Я пытаюсь изменить уровень ведения журнала для Apache Samza, чтобы получить debug операторов; по умолчанию info . В частности, я пытаюсь получить этот оператор отладки для отображения. Я использую Samza в проекте Clojure. Как лучше всего...
176 просмотров
schedule 17.06.2023

Сброс на настраиваемое смещение в разделе Kafka
Я изучаю Kafka для конкретного случая использования, над которым работаю. У меня есть поток текущих данных, и я хочу его обработать и опубликовать на промежуточных этапах. На каждом из этих этапов (начальный и промежуточный) задачи Samza будут...
364 просмотров