[cqlsh 5.0.1 | Cassandra 3.0.11.1485 | DSE 5.0.5 | CQL spec 3.4.0 | Native proto
с помощью искро-кассандрового коннектора 1.6.8
Я попытался реализовать приведенный ниже код .. импорт не работает.
val rdd: RDD[SomeType] = ... // create some RDD to save import
com.datastax.bdp.spark.writer.BulkTableWriter._
rdd.bulkSaveToCassandra(keyspace, table)
Может кто-нибудь подсказать мне, как реализовать этот код. Нужна ли для этого какая-то зависимость.
В Cassandra Spark Connector есть saveToCassandra метод, который можно использовать таким образом (взято из документация):
val collection = sc.parallelize(Seq(("cat", 30), ("fox", 40)))
collection.saveToCassandra("test", "words", SomeColumns("word", "count"))
Существует также saveAsCassandraTableEx, который позволяет вам управлять созданием схемы и другими вещами - это также описано в документации, упомянутой выше.
Чтобы использовать их, вам необходимо import com.datastax.spark.connector._ описано в "Подключение к Cassandra ".
И вам нужно добавить соответствующую зависимость - но это зависит от того, какую систему сборки вы используете.
Метод bulkSaveToCassandra доступен только при использовании коннектора DSE. Вам необходимо добавить соответствующие зависимости - см. документацию для более подробной информации. Но даже основной разработчик коннектора Spark говорит, что это лучше использовать saveToCassandra вместо него.
