Как имитировать данные для кассандры при использовании искрового коннектора кассандры в тестировании искрового потока?

У меня есть код, полностью написанный на scala, который использует потоковую передачу искр для получения данных json из темы kafka, а затем выгружает их в cassandra и другую тему kafka после некоторой обработки. Теперь мне нужно написать модульный тест для этого кода. Мне нужна помощь в том, как написать такой тест и как мы можем имитировать данные, когда я использую Spark Cassandra connector.


person Riddhisattwa    schedule 07.01.2019    source источник


Ответы (1)


Вы можете использовать spark-cassandra-connector-embedded, который разрабатывается вместе с самим коннектором. Просто добавьте зависимость Maven или SBT в свой проект, например, для SBT:

"com.datastax.spark"  %% "spark-cassandra-connector-embedded" % {latest.version}
person Alex Ott    schedule 07.01.2019