Будет ли потоковая передача работать в случае использования транзакционных данных?

Я использовал spark-sql-2.4.1v, kafka с Cassandra. У меня есть сценарий, в котором я получу разные транснациональные данные, которые могут состоять из записей обновления ... Мне нужно обновить записи, уже полученные ранее, с добавленными значениями полей.

Можно ли этого добиться с помощью искр-стриминга, какфа с Кассандрой.

Если да, то как мне продолжить? любая подсказка, пожалуйста. Если нет, что еще мне нужно добавить в свой стек технологий?

Спасибо.


person BdEngineer    schedule 09.09.2019    source источник


Ответы (1)


Просто запишите данные через Spark Cassandra Connector, как описано в документации (для RDD, для DataFrames) - эта операция обновит существующие данные или вставит новые. В зависимости от выбранного API вам может потребоваться настроить коннектор для добавления данных в таблицу вместо полной перезаписи каждый раз.

person Alex Ott    schedule 09.09.2019