У меня есть код, полностью написанный на scala, который использует потоковую передачу искр для получения данных json из темы kafka, а затем выгружает их в cassandra и другую тему kafka после некоторой обработки. Теперь мне нужно написать модульный тест для этого кода. Мне нужна помощь в том, как написать такой тест и как мы можем имитировать данные, когда я использую Spark Cassandra connector.
Как имитировать данные для кассандры при использовании искрового коннектора кассандры в тестировании искрового потока?
Ответы (1)
Вы можете использовать spark-cassandra-connector-embedded, который разрабатывается вместе с самим коннектором. Просто добавьте зависимость Maven или SBT в свой проект, например, для SBT:
"com.datastax.spark" %% "spark-cassandra-connector-embedded" % {latest.version}
person
Alex Ott
schedule
07.01.2019