Вопросы по теме 'spark-cassandra-connector'
ОБНОВЛЕНИЕ таблицы Cassandra с использованием разъема Spark Cassandra
У меня проблема с соединителем Spark Cassandra на scala при обновлении таблицы в моем пространстве ключей
Вот мой фрагмент кода
val query = "UPDATE " + COLUMN_FAMILY_UNIQUE_TRAFFIC + DATA_SET_DEVICE +
" SET a= a + " + b...
7852 просмотров
schedule
08.09.2021
как подключиться к более чем 1 хостам cassandra с помощью искрового коннектора cassandra
У меня есть искровое приложение, которое считывает данные из одного кластера кассандры и после некоторых вычислений сохраняет данные в другой кластер кассандры. Я могу установить только 1 конфигурацию cassandra в sparkconf. но мне нужно подключиться...
1987 просмотров
schedule
12.09.2021
Spark 1.5.1 Создание RDD из Cassandra (ClassNotFoundException: com.datastax.spark.connector.japi.rdd.CassandraTableScanJavaRDD)
Я пытаюсь получить записи из кассандры и создать rdd.
JavaRDD<Encounters> rdd = javaFunctions(ctx).cassandraTable("kesyspace1", "employee", mapRowTo(Employee.class));
Я получаю эту ошибку при отправке задания в Spark 1.5.1...
552 просмотров
schedule
16.10.2021
Сохранение данных обратно в Cassandra как RDD
Я пытаюсь прочитать сообщения от Kafka, обработать данные, а затем добавить данные в кассандру, как если бы это был RDD.
Моя проблема заключается в сохранении данных обратно в кассандру.
from __future__ import print_function
from...
1389 просмотров
schedule
17.09.2021
Как установить уровень согласованности ONE и ifNotExists в Spark Cassandra DataFrame
У меня есть счетчик в кассандре 3.9
create table counter_table ( id text, hour_no int, platform text, type text, title text,
count_time counter,
PRIMARY KEY (id, hour_no, platform, type , title));
мой код Spark (2.1.0) Scala (2.11)...
1848 просмотров
schedule
01.12.2021
Невозможно сгенерировать UUID в Spark SQL
ниже приведен блок кода и полученная ошибка
> creating a temporary views
sqlcontext.sql("""CREATE TEMPORARY VIEW temp_pay_txn_stage
USING org.apache.spark.sql.cassandra
OPTIONS (
table "t_pay_txn_stage",
keyspace...
2748 просмотров
schedule
30.09.2021
Как реализовать rdd.bulkSaveToCassandra в datastax
Я использую кластер datastax с 5.0.5.
[cqlsh 5.0.1 | Cassandra 3.0.11.1485 | DSE 5.0.5 | CQL spec 3.4.0 | Native proto
с помощью искро-кассандрового коннектора 1.6.8
Я попытался реализовать приведенный ниже код .. импорт не работает....
182 просмотров
schedule
30.10.2021
Невозможно аутентифицировать кластер cassandra через программу Spark Scala
Пожалуйста, предложите мне решить проблему, указанную ниже, или предложите другой подход для решения моей проблемы. Я получаю данные откуда-то и вставляю их в кассандру ежедневно, тогда мне нужно получить данные из кассандры в течение целой недели,...
747 просмотров
schedule
02.11.2021
Cassandra Sink для структурированной потоковой передачи PySpark из темы Kafka
Я хочу записать данные потоковой передачи структуры в Cassandra, используя API структурированной потоковой передачи PySpark.
Мой поток данных выглядит следующим образом:
REST API -> Kafka -> Структурированная потоковая передача Spark (PySpark)...
351 просмотров
schedule
07.12.2021
конфигурация Spark-Cassandra-Connector: concurrent.reads vs input.reads_per_sec
чувство замешательства при чтении https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md#read-tuning-parameters
concurrent.reads : устанавливает параллелизм чтения для таблиц joinWithCassandra.
input.reads_per_sec...
388 просмотров
schedule
11.10.2021
Как процесс записи / чтения Spark через соединитель Spark-Cassandra отличается от процесса чтения / записи CQLSH
Я новичок в Spark, пытаюсь понять, как искра выгодна при использовании его через разъем Spark-Cassandra на кластере Cassandra.
Как запись (пример savetocassandra) в Cassandra работает через соединитель Spark-Cassandra (запускает SQL-запросы,...
333 просмотров
schedule
03.03.2022
Удалить дубликаты без перемешивания Spark
У меня есть таблица Cassandra XYX со столбцами (id uuid, вставьте метку времени, текст заголовка)
Где id и insert - составной первичный ключ.
Я использую Dataframe, и в моей искровой оболочке я получаю идентификатор и столбец заголовка. Я хочу...
1062 просмотров
schedule
08.03.2022
Spark UDF для поиска ключей с помощью Cassandra Connector
Я пытаюсь использовать кассандру в качестве хранилища ключевых значений в некоторых из наших искровых заданий.
В первую очередь мы используем фреймы данных и отошли от API-интерфейсов RDD.
Вместо того, чтобы соединяться с таблицами,...
138 просмотров
schedule
20.03.2022
Потоковая передача Spark не вставляет данные в Cassandra
У меня есть искровый потоковый код, который работает в клиентском режиме: он читает данные из кафки, выполняет некоторую обработку и использует spark-cassandra-connector для вставки данных в кассандру.
Когда я использую «--deploy-mode cluster»,...
486 просмотров
schedule
27.03.2022
Spark Cassandra добавляет набор данных в таблицу с нулевыми значениями
Я использую коннектор DataStax Spark для заполнения кластера Cassandra и обработки данных в различных заданиях (из-за к некоторым неподдерживаемым операциям Spark для потоковой обработки, таким как двойное агрегирование). Поэтому я хочу хранить...
426 просмотров
schedule
30.03.2022
Как имитировать данные для кассандры при использовании искрового коннектора кассандры в тестировании искрового потока?
У меня есть код, полностью написанный на scala, который использует потоковую передачу искр для получения данных json из темы kafka, а затем выгружает их в cassandra и другую тему kafka после некоторой обработки. Теперь мне нужно написать модульный...
307 просмотров
schedule
02.04.2022
Невозможно подключиться к одному из узлов Cassandra с помощью драйвера Cassandra Datastax Java
Драйвер Cassandra datastax не может подключиться к одному из узлов в центре обработки данных, но я все еще могу читать и писать в базу данных. Датацентр содержит два узла в одной стойке. Я указал один из них как начальный узел.
Connected to...
1116 просмотров
schedule
19.04.2022
Коннектор Spark Cassandra в действии: как он работает, если Cassandra размещена на другом сервере
Сценарий: Cassandra размещается на сервере a.b.c.d , а искра запускается на сервере, скажем, w.x.y.z .
Предположим, я хочу преобразовать данные из таблицы (скажем, таблицы) casssandra и переписать то же самое в другую таблицу (скажем, tableNew) в...
99 просмотров
schedule
01.05.2022
Как изменить типы данных записей, вставляемых в Cassandra, с помощью потоковой передачи структуры Foreach Spark
Я пытаюсь вставить десериализованные записи Kafka в Data Stax Cassandra, используя потоковую передачу структуры Spark с использованием Foreach Sink.
Например, мои десериализованные данные фрейма данных, как и все, находятся в строковом формате....
602 просмотров
schedule
01.05.2022
Отправка Spark зависает после записи из Cassandra в json
У меня есть программа-драйвер, в которой я записываю прочитанные данные из Cassandra с помощью spark, выполняю некоторые операции, а затем записываю в JSON на S3. Программа работает нормально, когда я использую Spark 1.6.1 и spark-cassandra-connector...
445 просмотров
schedule
10.05.2022
