Как загрузить большой csv с помощью пакета ff?

Я новичок в R. У меня есть большой csv размером около 2,5 ГБ с 3 столбцами и 40 миллионами строк. Типы данных столбца: intger, datetime и char. Как загрузить этот csv с помощью пакета ff?


r linux bigdata ff
person user3094606    schedule 12.12.2013    source источник
comment
Также в каждом из столбцов есть некоторые нулевые значения.   -  person user3094606    schedule 12.12.2013
comment
Решает ли ответ Аашу вашу проблему? Вы должны проверить этот ответ, если он вам поможет   -  person Vu Anh    schedule 04.12.2014

Ответы (1)


arrow_upward
0
arrow_downward

Что ж, это даст вам некоторое представление о том, как использовать существующие ссылки Сохраните и загрузите ваши большие данные ,загрузить большой CSV-файл

all <- read.csv("file.csv")
    library("ff")
    help(read.table.ffdf)
    x<- read.csv.ffdf(file="file.csv", header=TRUE, VERBOSE=TRUE, first.rows=10000, next.rows=50000, colClasses=NA)
    save.ffdf(ffdfname, dir=”/PATH/TO/STORE/FF/FILES”)
    load.ffdf(dir=”/PATH/TO/STORE/FF/FILES”)

надеюсь, это поможет вам.

person Aashu    schedule 12.12.2013