Вопросы по теме 'sparkr'
Экспорт данных из задания sparkR
У меня есть сценарий R, аналогичный приведенному в примере, где вы загружаете некоторые данные из hdfs, а затем как-то их сохраняете, в данном случае через файл Parquet.
library(SparkR)
# Initialize SparkContext and SQLContext
sc <-...
168 просмотров
schedule
02.12.2021
Загрузка csv-файлов в sparkR
В R я создал два набора данных, которые я сохранил как csv-файлы с помощью
liste <-write.csv(liste, file="/home/.../liste.csv", row.names=FALSE)
data <- write.csv(data, file="/home/.../data.csv", row.names=FALSE)
Теперь я хочу...
1843 просмотров
schedule
27.09.2021
Измените максимальный размер в R и sparkR
I R и sparkR Я хочу изменить "max-ppsize".
https://cran.r-project.org/doc/manuals/r-release/R-intro.pdf page 93/105 есть описание команды.
Как именно ввести его, когда я открыла программу R или sparkR в Ubuntu? Я не мог найти четкого описания...
746 просмотров
schedule
06.11.2021
Тип приведения типа double к целому числу в sparkR
У меня есть DataFrame в sparkR 'u', который содержит ID = 1 1 1 1 ... и age = 21 23 33 21 ... Чтобы взять сумму «возрастов», я делаю это
sumage<-agg(u, ages="sum")
Теперь sumage - это DataFrame с типом double. Я хочу, чтобы сумма была...
497 просмотров
schedule
23.10.2021
SparkR для стриминга с Spark 1.6
Любая идея, может ли SparkR для Spark 1.6 вызывать методы для потоковой передачи, например. скажем, регрессия потокового лайнера с SGD. Если да, может ли кто-нибудь поделиться ссылками. Спасибо!
120 просмотров
schedule
22.10.2021
Модель SparkR Glm
Я пытаюсь использовать glm на SparkR.
Это пример из официальной документации Spark.
df <- createDataFrame(sqlContext, iris)
# Fit a gaussian GLM model over the dataset.
model <- glm(Sepal_Length ~ Sepal_Width + Species, data = df,...
519 просмотров
schedule
08.09.2021
SparkR - список файлов для подключенной корзины AWS
Я только начал работать со Spark R. В Databricks смонтировано ведро aws.s3.
Я хотел бы использовать list.files () или dir () для перечисления файлов, которые содержат определенный шаблон в своих именах. Однако я не могу определить путь для этого....
263 просмотров
schedule
31.10.2021
SparkR. Как подсчитать различные значения для всех столбцов в Spark DataFrame?
Мне интересно, есть ли способ подсчитать количество отдельных элементов в каждом столбце фрейма данных искры? То есть, учитывая этот набор данных:
set.seed(123)
df<- data.frame(ColA=rep(c("dog", "cat", "fish", "shark"), 4), ColB=rnorm(16),...
1273 просмотров
schedule
05.11.2021
SparkR под RStudio Server в Azure HDInsight
Я установил R 2.3.2, R Studio Server Open и пакет SparkR в кластере Azure HDInsight (Ubuntu 14.0.4).
Я могу создать экземпляр SparkR из командной строки R с чем-то вроде этого, и он отлично работает:
if (nchar(Sys.getenv("SPARK_HOME")) < 1)...
502 просмотров
schedule
03.03.2022
SparkR: ошибка установки 1.4.1
Я пробовал следующее для Spark 1.4.0 и 1.4.1 на Mac. Я загружаю пакет type = 'Исходный код [можно собрать несколько версий Hadoop' и загружаю тип http://ftp.wayne.edu/apache/spark/spark-1.4.1/spark-1.4.1..tgz .
Когда я запускаю ./bin/sparkR в...
174 просмотров
schedule
22.03.2022
StringInderxer и одно горячее кодирование в SparkR
Я пытаюсь преобразовать строковую переменную в SparkR в числовую, используя одну концепцию горячего кодирования и используя stringindexer в приведенном ниже коде: df ‹-ft_string_indexer (spark_df, input_col = cluster_group, output_col = new) Однако я...
71 просмотров
schedule
25.04.2022
Как получить значения столбца (value.var в dcast) после поворота с помощью функции sdf_pivot()
Я пытаюсь преобразовать свой фрейм данных искры, используя функцию sdf_pivot() . Я хочу отображать значения столбцов, таких как параметр value.var, в dcast() из пакета reshape2. Пожалуйста, посмотрите на пример ниже.
id <-...
428 просмотров
schedule
06.05.2022
Используете Caret со SparkR?
Возможно, это несколько похоже на этот вопрос , это не похоже на SparkR кадры данных совместимы с пакетом Caret.
Когда я пытаюсь обучить свою модель, я получаю следующую ошибку:
Error in as.data.frame.default(data) :
cannot coerce...
1532 просмотров
schedule
28.05.2022
SparkR: как сделать ИНДЕКС-МАТЧ / ВПР
ИНДЕКС МАТЧ / ВПР В СПАРКР
Я пытаюсь найти соответствие индекса / vlookup в Rstudio с пакетом SparkR, кто-нибудь уже делал это раньше? Я пытаюсь использовать функцию locate для доступа к тому же методу с функцией match в обычном RStudio, но я...
37 просмотров
schedule
31.05.2022
SparkR: присвоить значения столбца с условием
Я хочу заменить значения столбца определенным условием.
Пример кадра данных R:
df <- data.frame(id=c(1:7),value=c("a", "b", "c", "d", "e", "c", "c"))
Я хочу заменить значения «c» и «d» в значении столбца на «e».
В R это можно сделать...
1096 просмотров
schedule
07.06.2022
Получение ошибки при инициализации sparkR: JVM не готова через 10 секунд
В настоящее время я тестирую одно приложение с использованием SparkR. Это сведения о моей платформе и приложении:
Платформа: Windows server 2008 SparkR версия: R версия 3.1.2 (2014-10-31) Spark Verion: версия 1.4.1
Что я сделал?
Шаг...
5010 просмотров
schedule
15.06.2022
Использование R в Apache Spark
Есть несколько вариантов доступа к библиотекам R в Spark:
непосредственно с помощью sparkr
используя языковые привязки, такие как rpy2 или rscala
с помощью отдельной службы, такой как opencpu
Похоже, что SparkR довольно...
1369 просмотров
schedule
16.06.2022
dropDuplicates в SparkR
Содержит ли SparkR dropDuplicates функция (для удаления повторяющихся строк на основе определенного столбца), которая присутствует в scala?
Я наткнулся на этот ответ в SOF. Но вместо использования GroupBy у нас есть функция удаления дубликатов...
253 просмотров
schedule
08.07.2022
Разница во времени, затрачиваемом на импорт файлов паркета между SparkR и sparklyr
Я импортирую файлы паркета в блоки данных, используя SparkR и sparklyr .
data1 = SparkR::read.df("dbfs:/.../data202007*", source = "parquet", header = TRUE, inferSchema = TRUE)
data1 = sparklyr::spark_read_parquet(sc =...
91 просмотров
schedule
12.07.2022
SparkR Stage X содержит задачу очень большого размера
Я получаю это предупреждение при вызове createOrReplaceTempView с фреймом данных R:
createOrReplaceTempView (as.Data.Frame(products), "prod")
Должен ли я игнорировать это предупреждение? Это неэффективно?
Спасибо!
154 просмотров
schedule
27.07.2022
