Вопросы по теме 'apache-samza'
Предупреждение MetricsSnapshotReporterFactory в задании samza
Я получаю следующее предупреждение в задании samza:
[основная] ПРЕДУПРЕЖДЕНИЕ o.a.s.m.r.MetricsSnapshotReporterFactory.warn(66) — Не удалось найти версию реализации в метаинформации jar. По умолчанию 0.0.1.
Как я могу это исправить? Что...
48 просмотров
schedule
01.08.2022
Как samza генерирует container.id, когда приложение развернуто в пряже?
Может кто-нибудь сообщить мне, как samza генерирует samza.container.id/ SAMZA_CONTAINER_ID , когда приложение развернуто в пряже? Я просмотрел кодовую базу samza, но не смог найти логику для генерации samza.container.id
20 просмотров
schedule
08.08.2022
Требует ли Samza OutgoingMessageEnvelope SerDe для partitionKey и как его указать?
Аналогично how- can-you-create-a-partition-on-a-kafka-topic-using-samza Мне нужно создать сообщение, контролирующее его маршрутизацию с помощью partitionKey. для ключа и сообщения требуется SerDe, но я не уверен, что и partitionKey тоже. Если да,...
239 просмотров
schedule
09.09.2022
Обработка потока для каждого пользователя
Мне нужно обрабатывать данные из набора потоков, применяя ту же разработку к каждому потоку независимо от других потоков.
Я уже видел такие фреймворки, как storm, но похоже, что он позволяет обрабатывать только статические потоки (т.е. твиты из...
231 просмотров
schedule
04.06.2023
Фреймворковые приложения Storm
Я создал приложение для поиска похожих хранилищ изображений в распределенной среде с использованием Hadoop. Но Hadoop не поддерживает обработку в реальном времени, поэтому время отклика велико. Я знаю, что Storm — это еще один фреймворк для...
117 просмотров
schedule
27.04.2023
Проблемы при загрузке файлов свойств из задания Samza, запущенного в кластере пряжи
У меня есть задание samza, которое я пытаюсь запустить в кластере пряжи, используя
./bin/run-job.sh --config-factory = org.apache.samza.config.factories.PropertiesConfigFactory --config-path = file: ///home/anshu/samzaJob.properties...
116 просмотров
schedule
19.12.2022
Как развернуть задание samza на удаленном диспетчере ресурсов Yarn
Мы выполняем работу самзы на пряже Hadoop. До сих пор мы развертывали задание вручную, вызывая run-job.sh на хосте Resource Manager.
run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory...
429 просмотров
schedule
01.11.2022
Увеличьте уровень ведения журнала в Apache Samza
Я пытаюсь изменить уровень ведения журнала для Apache Samza, чтобы получить debug операторов; по умолчанию info . В частности, я пытаюсь получить этот оператор отладки для отображения.
Я использую Samza в проекте Clojure. Как лучше всего...
176 просмотров
schedule
17.06.2023
Сброс на настраиваемое смещение в разделе Kafka
Я изучаю Kafka для конкретного случая использования, над которым работаю. У меня есть поток текущих данных, и я хочу его обработать и опубликовать на промежуточных этапах.
На каждом из этих этапов (начальный и промежуточный) задачи Samza будут...
364 просмотров
schedule
03.03.2023