R с пакетом ff и FSelector

У меня есть набор данных csv размером 1360x92735, и мне нужно уменьшить размерность с помощью пакета FSelector для R (information.gain()), но он требует много оперативной памяти.

Мой вопрос: могу ли я использовать пакет ff в сочетании с FSelector? Если да, то как?

p.s. У меня 8 ГБ оперативной памяти и 8 ГБ подкачки на Linux.

Спасибо.

[РЕДАКТИРОВАТЬ]

Я пытаюсь использовать пакет ff и FSelector с набором данных iris. Вроде работает хорошо, но теперь у меня проблема с фф.

Мой набор данных csv имеет размер 1303x92735, и когда я пытаюсь использовать объект ff для преобразования кадра данных с помощью as.ffdf() или для прямой загрузки набора данных с помощью read.csv.ffdf(), происходит сбой R с «ошибкой записи».

Здесь у кого-то такая же проблема, но я не понимаю, находит ли решение или нет.

Спасибо.


r dataset data-mining feature-selection ff
person Descanso7    schedule 19.02.2014    source источник
comment
Обычный способ в stackoverflow убедиться, что на ваш вопрос дан ответ, — это попробовать и посмотреть, где вы застряли.   -  person    schedule 20.02.2014
comment
хорошо, я пробовал, но с плохим результатом...   -  person Descanso7    schedule 23.02.2014

Ответы (1)


arrow_upward
0
arrow_downward

Ошибка, вероятно, связана с тем, что ff открывает файл для каждого столбца во фрейме данных ff. У вас есть 92 735 столбцов, что, вероятно, намного больше, чем конфигурация вашей системы для максимального количества открытых файлов. Я ответил на это на SO здесь.

person Chris Townsend    schedule 05.12.2016