Вопросы по теме 'doparallel'

Использование fread с foreach и doParallel в R
Я использовал fread с пакетами foreach и doParallel в R 3.2.0 в ubuntu 14.04. Следующий код работает нормально, хотя я не использовал registerDoParallel . library(foreach) library(doParallel) library(data.table)...
2636 просмотров
r doparallel parallel-foreach
schedule 12.10.2021
Экспорт объектов в глобальной и функциональной среде в кластер
Я использую foreach и doParallel в приведенном ниже примере кода. library(foreach) library(doParallel) clusters = makeCluster(4) registerDoParallel(clusters) fun1 <- function(param1, param2, param3) { param4 = param1+param2...
497 просмотров
r doparallel parallel-foreach
schedule 03.10.2021
Запись в файл журнала с помощью doMPI
Я запускаю doMPI на HPC и хочу регистрировать вывод рабочих. Используя doParallel, я смог использовать makeCluster(outfile='myfile.log') . В doMPI, похоже, нет аргумента outfile ни в одном из методов. Я пробовал использовать sinkWorkerOutput()...
135 просмотров
r parallel-processing openmpi doparallel dompi
schedule 07.10.2021
Использование ForEach для перехода по столбцам для тысяч регрессий
Сначала некоторые данные. Создайте фреймворк для ковариат и интересующего меня результата для регрессии и один для независимых переменных. Я прохожу через lm(outcome ~ mycovs + ith column of betas) и для этого примера собираю остатки....
150 просмотров
r foreach parallel-processing doparallel
schedule 17.09.2021
В R огромная разница между пользователем и истекшим сроком, которая не равна системе
Я запускаю сценарий, который использует 3 из 4 ядер моей машины с Windows, используя функцию% dopar%. Получаю следующую статистику: user system elapsed 1.19 0.06 75.83 Без параллельного использования (то есть с использованием...
54 просмотров
r parallel-processing doparallel
schedule 16.11.2021
Проблема с использованием doparallel и png вместе
Использование% dopar% в сочетании с png. По какой-то причине R застревает, когда видит этот код. Был бы признателен за совет о том, в чем причина его зависания и как ее обойти. myCluster <- makeCluster(2, type = "FORK")...
73 просмотров
r png doparallel parallel-foreach
schedule 15.10.2021
как элементы назначаются кластерам в foreach () при выполнении параллельных вычислений в R
У меня есть набор элементов для запуска пользовательской функцией в R. Для последовательного выполнения этих элементов требуется много времени. Затем я переключаюсь на параллельные вычисления, используя foreach() , %dopar% , makecluster() и...
33 просмотров
r foreach doparallel
schedule 24.11.2021
R foreach несколько ядер, одновременно обращающихся к функции
У меня есть 1000 CSV-файлов в моем рабочем каталоге, и каждый файл имеет идентификатор местоположения, количество осадков и температуру. Структура одного файла показана ниже: set.seed(123) my.dat <- data.frame(Id = rep(1, each = 365),...
98 просмотров
r foreach rcpp doparallel
schedule 12.05.2022
R: каретка не использует главный узел PSOCKcluster при использовании параллельного бэкенда.
Я пытаюсь заставить caret обучать модели xgboost по сетке гиперпараметров с использованием параллельного бэкэнда. Вот код, который использует данные Give Me Some Credit . чтобы продемонстрировать настройку параллельного бэкэнда для поиска...
174 просмотров
r r-caret xgboost doparallel parallel-foreach
schedule 12.06.2022
R: показывать сообщения об ошибках и предупреждения в foreach %dopar%
Я новичок в использовании foreach() %dopar% для распараллеливания, и у меня есть некоторые проблемы с обработкой ошибок или предупреждений. когда я использую try() с моим настроенным сообщением об ошибке в foreach() %dopar%, "собственное"...
4617 просмотров
r error-handling foreach warnings doparallel
schedule 15.06.2022
R Параллельные вычисления: выберите, какие объекты будут распределены по ядрам
У меня вопрос, связанный с r-параллельными вычислениями. Я использую что-то вроде: cl.tmp = makeCluster(10, type="SOCK") registerDoParallel(cl.tmp) AA <- foreach(i = 1:48, .inorder = TRUE, .combine = rbind, .verbose=TRUE) %dopar% { # A...
272 просмотров
r parallel-processing snow doparallel parallel-foreach
schedule 05.08.2022
Могу ли я использовать только одно соединение RODBC в Foreach с помощью doParallel в R?
Я знаю, что могу открыть соединение SQL Server в каждом рабочем, однако он одновременно открывает несколько соединений с сервером. Администраторы базы данных моей работы говорят, что я использую слишком много системных ресурсов, открывая несколько...
45 просмотров
r foreach sql-server rodbc doparallel
schedule 29.08.2022
Rselenium и foreach с допараллельностью
Я использую Rselenium для парсинга https://www.oddsportal.com . Я пытаюсь сделать это параллельно, так как у меня 50 000 URL-адресов и я хочу сократить время выполнения. Проблема в том, что я получаю одинаковые результаты для каждого кластера/узла...
154 просмотров
r web-scraping foreach rselenium doparallel
schedule 06.10.2022
doParallel, кластер против ядер
В чем разница между кластером и ядрами в registerDoParallel при использовании пакета doParallel? Правильно ли я понимаю, что на одной машине они взаимозаменяемы, и я получу одинаковые результаты для: cl <- makeCluster(4)...
6234 просмотров
r doparallel rparallel
schedule 27.02.2023
Проблема с использованием пользовательской функции сводки в параллельном выполнении (курсор вставки)
Я пытаюсь использовать MAPE в качестве метрики для оценки производительности модели. В случае LOOCV и параллельного выполнения все работает правильно, но если я использую другой метод повторной выборки, я получаю эту ошибку: Ошибка в {:...
388 просмотров
r r-caret doparallel
schedule 26.07.2023
Как остановить foreach %dopar%, не испортив сеанс
Я довольно часто использую допар foreach в R, чтобы воспользоваться преимуществами многоядерности и ускорить выполнение специального анализа в интерактивных сеансах. Однако иногда я замечал, что если я вырвался из параллельных циклов for (обычно...
650 просмотров
r foreach doparallel
schedule 01.08.2023
мне все еще нужно makeCluster, если я уже делаю registerDoParallel (cl)
Чтение виньетки для doparallel . Являются ли следующие два блока кода одним и тем же? library(doparallel) no_cores <- 8 cl <- makeCluster(no_cores) registerDoParallel(cl) pieces <- foreach(i = seq_len(length(pieces))) %dopar% {...
570 просмотров
r parallel-processing doparallel
schedule 23.11.2022
Использование цикла foreach в r возвращает NA
Я хотел бы использовать цикл foreach в R (пакет foreach + doParallel), но в своей работе я обнаружил, что цикл возвращает некоторый NA, а классический цикл for возвращает значение, которое я хочу: library(foreach) library(doParallel)...
631 просмотров
r foreach na doparallel
schedule 06.02.2023
Rscript вызывает другую версию R
Я прочитал этот пост и этот пост и этот пост , но решения там (в первую очередь, использование полного пути к Rscript) не решили мою проблему: Я установил последнюю версию R на сервер в свой локальный каталог (поскольку общесистемный R...
766 просмотров
r local doparallel
schedule 30.11.2022
Запуск makeCluster в рамках withTimeout не работает
Функция makeCluster иногда зависает в моем коде, и ее нужно просто перезапустить, чтобы исправить проблему. Чтобы сделать это в своем коде, я пытаюсь использовать цикл while плюс функцию withTimeout, чтобы иметь тайм-аут функции makeCluster, если...
90 просмотров
r doparallel
schedule 06.03.2023