Вопросы по теме 'ff'

Как удалить столбцы из объекта ffdf? (Р)
Могу ли я легко отбросить столбец объекта ffdf ? library(ff);library(ffbase) irisdf=as.ffdf(iris) Как содержать только Sepal.length и Species столбцы?
1362 просмотров
r ff ffbase
schedule 24.11.2021
ffbase: объединить столбцы X и Y и ближайший столбец Z
Я хотел бы выполнить следующее, используя ffdf: Объединить столбцы X и Y и ближайшее время, а затем объединить закрывающий столбец B. Однако процедура, которую я знаю в меньших выборках , включает использование внешних слияний ( как показано ниже)....
53 просмотров
r ff ffbase
schedule 07.11.2021
Один ко многим с использованием ffbase в R
Я хотел бы воспроизвести следующее соединение «один ко многим» с помощью ffdf . Как лучше всего это сделать? Ниже я привожу пример того, что я хотел бы получить, используя data.tables. Мне известно следующее описание функции merge.ffdf: «Этот...
129 просмотров
r ff ffbase
schedule 24.10.2021
Разделение объекта ffdf
Я использую библиотеки ff и ffbase для управления большим CSV-файлом (~ 40Go и 275e6 наблюдений). Я хотел бы разделить/разбить этот файл в соответствии с одним из его столбцов (который является столбцом фактора). С обычным фреймом данных я бы...
191 просмотров
r ff ffbase
schedule 31.03.2022
Получение списка классов столбцов для всех столбцов ffdf
У меня есть ffdf с несколькими столбцами. Я хотел бы найти классы столбцов, которые read.table.ffdf автоматически определяются из данных в виде вектора строк. Грубый способ сделать это, кажется, зацикливается на столбцах и использует...
272 просмотров
r dataframe ff
schedule 26.07.2022
Как работать с большим многотипным фреймом данных в Snow R?
У меня есть большой data.frame из 20 миллионов строк. Этот фрейм данных не только числовой, но и символьный. Используя концепцию «разделяй и властвуй», я хочу разделить этот фрейм данных для параллельного выполнения с помощью пакета snow (в...
342 просмотров
r bigdata memory snow ff
schedule 25.08.2022
Использование apply на больших ffdfs
Основная идея такова: у меня есть большое ffdf (около 5,5 миллионов x 136 полей). Я точно знаю, что некоторые из этих столбцов в этом фрейме данных имеют столбцы, которые все NA . Как мне узнать, какие из них и удалить их соответствующим образом?...
127 просмотров
r apply bigdata ff
schedule 19.08.2022
Функция ffdfdply приводит к сбою R и работает очень медленно
изучая, как вычислять задачи в R для больших наборов данных (более 1 или 2 ГБ), я пытаюсь использовать пакет ff и функцию ffdfdply . (См. эту ссылку о том, как использовать ffdfdply : Язык R: проблемы с вычислениями сгруппированы или разделены с...
805 просмотров
r ff
schedule 30.06.2023
Выполнение расчетов по кадру данных из объекта ffdf
Я работаю с большим набором данных (3,5 млн строк и 40 столбцов), и мне нужно очистить некоторые значения, чтобы я мог рассчитать другие параметры, которые мне необходимы, когда я начну формулировать модель на основе данных. Проблема в том, что...
542 просмотров
r ff
schedule 27.07.2023
Как загрузить большой csv с помощью пакета ff?
Я новичок в R. У меня есть большой csv размером около 2,5 ГБ с 3 столбцами и 40 миллионами строк. Типы данных столбца: intger, datetime и char. Как загрузить этот csv с помощью пакета ff?
502 просмотров
r linux bigdata ff
schedule 10.02.2023
R с пакетом ff и FSelector
У меня есть набор данных csv размером 1360x92735, и мне нужно уменьшить размерность с помощью пакета FSelector для R (information.gain()), но он требует много оперативной памяти. Мой вопрос: могу ли я использовать пакет ff в сочетании с FSelector?...
334 просмотров
r dataset data-mining feature-selection ff
schedule 20.09.2023
Слияние кадров данных ffdf в R
Мне нужно внешнее соединение кадров данных ffdf, сохраненных в списке. Проверили это , но это относится к другой проблеме. Пример кода для объектов RAM: x1 = data.frame(name='a1', Ai=2, Ac=1, Bi=1) x2 = data.frame(name='a2', Ai=1, Bi=3, Bc=1,...
752 просмотров
r ff ffbase
schedule 15.03.2023
Как я могу создать вектор POSIXct в ffdf?
Я осмотрелся и не могу понять, что происходит с этим. Я использую R в Eclipse. Файл, который я пытаюсь импортировать, имеет размер 700 МБ, около 15 миллионов строк и 6 столбцов. Поскольку у меня были проблемы с загрузкой, я начал использовать пакет...
172 просмотров
r eclipse posixct ff
schedule 24.05.2023
Эффективное преобразование отдельных журналов времени прихода/ухода в общую занятость здания с течением времени
Итак, у меня есть данные в формате .csv, показывающие время, в течение которого конкретные пользователи входят в здание и выходят из него за несколько месяцев. Я пытаюсь использовать R для составления таблицы заполняемости здания каждые 15/30 минут...
91 просмотров
r bigdata ff
schedule 22.11.2022
Пакет R-ff: найти наиболее часто встречающийся элемент в ffdf и удалить строки, в которых он находится
Мне нужно предложение найти наиболее часто встречающийся элемент в ffdf и после этого удалить строки, в которых он находится. Я решил попробовать пакет ff, так как я работаю с очень большими данными, а с базой R мне не хватает памяти. Вот...
574 просмотров
r dataframe ff ffbase
schedule 30.04.2023
Ошибка записи большой матрицы с использованием R ff
Я пытался сгенерировать матрицу с помощью пакета ff, но получаю следующую ошибку: Matrixff <- ff(0, dim = c(1000, 10000)) Error in splitPathFile(x) : 4 arguments passed to .Internal(nchar) which requires 3 Как я могу это решить?
669 просмотров
r matrix ff
schedule 24.12.2022
Использование функции применения с пакетом ff в R
Я пытаюсь применить данную функцию к столбцам в объекте as.ffdf, но мне не повезло. Может ли кто-нибудь дать предложения ниже? n = 3711, а myProbDensity имеет размеры 95248 строк и 3711 столбцов. myDF <- as.ffdf(myProbDensity) test <-...
493 просмотров
r apply bigdata matrix ff
schedule 28.07.2023
Эффективное комбинирование и работа с большими фреймами данных
У меня есть 2 относительно больших фрейма данных в R. Я пытаюсь максимально эффективно объединить/найти все комбинации. Результирующий df оказывается огромным (длина dim(myDF1)[1]*dim(myDF2)[1] ), поэтому я пытаюсь реализовать решение, используя ff...
198 просмотров
r performance memory-management ff ffbase
schedule 04.05.2023
Запрос из памяти 60 ГБ tsv в R в первом столбце, какая база данных/метод?
У меня есть 6 больших матриц tsv размером 60 ГБ (несжатых), содержащих 20 миллионов строк x 501 столбец: первый индексный/целочисленный столбец, который в основном является номером строки (поэтому даже не требуется), 500 столбцов являются числовыми (с...
38 просмотров
r database dataframe bigdata ff
schedule 03.11.2022
Ошибка read.csv.fdff: невозможно выделить вектор размером 6607642,0 Гб
Мне нужно прочитать файл csv размером 4,5 ГБ в RStudio, и для преодоления проблемы с памятью я использую функцию read.ffdf из пакета ff. Тем не менее, я все еще получаю сообщение об ошибке, что данные слишком велики Ошибка: невозможно выделить...
411 просмотров
r bigdata ff
schedule 22.02.2023