Вопросы по теме 'parallel-foreach'
установка формальных аргументов функции foreach
Я пытаюсь установить формальные аргументы функции foreach. Я приведу простой пример с использованием аргумента .combine.
Я написал общую оболочку, которая меняет формальные данные функции (код ниже)
bind<-function(FUN,args.new) {...
459 просмотров
schedule
19.11.2021
Использование fread с foreach и doParallel в R
Я использовал fread с пакетами foreach и doParallel в R 3.2.0 в ubuntu 14.04. Следующий код работает нормально, хотя я не использовал registerDoParallel .
library(foreach)
library(doParallel)
library(data.table)...
2636 просмотров
schedule
12.10.2021
Экспорт объектов в глобальной и функциональной среде в кластер
Я использую foreach и doParallel в приведенном ниже примере кода.
library(foreach)
library(doParallel)
clusters = makeCluster(4)
registerDoParallel(clusters)
fun1 <- function(param1, param2, param3)
{
param4 = param1+param2...
497 просмотров
schedule
03.10.2021
Проблема с использованием doparallel и png вместе
Использование% dopar% в сочетании с png. По какой-то причине R застревает, когда видит этот код. Был бы признателен за совет о том, в чем причина его зависания и как ее обойти.
myCluster <- makeCluster(2, type = "FORK")...
73 просмотров
schedule
15.10.2021
Параллельные вычисления в R (оператор if в foreach %dopar%)
Я хочу обновить свои четыре переменные (Z1, Z2, IVtmp$differror1, IVtmp$differror2) по группам (i), зависящим от оператора if.
foreach(i=unique(IVtmp$scidx)) %dopar% {
numerator=sum(P1new[IVtmp$scidx==i])+sum(P2new[DATA$scid==i])...
903 просмотров
schedule
02.04.2022
nlminb() не распознает входные данные при внедрении в foreach()
Я хочу провести схему повторной выборки по методу Монте-Карло, используя многоядерные средства, предоставляемые пакетом foreach в сочетании с пакетом doMC, используя машину LINUX. На каждой итерации самодельная функция выполняет повторную выборку с...
73 просмотров
schedule
11.04.2022
Как программно переключаться между% do% и% dopar% в foreach?
Изменяя% dopar% на% do% при использовании foreach, я могу запускать код последовательно. Как я могу сделать это программно?
Например. Я хочу следующее, но только с ОДНИМ оператором foreach:
library(doParallel)
library(foreach)...
357 просмотров
schedule
04.05.2022
Как лучше всего сделать функции в моем пакете R распараллеливаемыми?
Я разработал пакет R, который содержит поразительно параллельные функции.
Я хотел бы реализовать распараллеливание этих функций таким образом, чтобы он был прозрачным для пользователя, независимо от его/ее ОС (по крайней мере, в идеале).
Я...
764 просмотров
schedule
03.06.2022
R: каретка не использует главный узел PSOCKcluster при использовании параллельного бэкенда.
Я пытаюсь заставить caret обучать модели xgboost по сетке гиперпараметров с использованием параллельного бэкэнда.
Вот код, который использует данные Give Me Some Credit . чтобы продемонстрировать настройку параллельного бэкэнда для поиска...
174 просмотров
schedule
12.06.2022
Как показать сообщение, когда SQL-запрос выполняется в R?
Я работаю над некоторым кодом в R, который активно использует пакет rpostgresql. Загрузка некоторых запросов, которые я использую, занимает довольно много времени, поэтому я хотел бы периодически показывать пользователям сообщение (что-то вроде...
91 просмотров
schedule
30.07.2022
R Параллельные вычисления: выберите, какие объекты будут распределены по ядрам
У меня вопрос, связанный с r-параллельными вычислениями. Я использую что-то вроде:
cl.tmp = makeCluster(10, type="SOCK")
registerDoParallel(cl.tmp)
AA <- foreach(i = 1:48, .inorder = TRUE, .combine = rbind, .verbose=TRUE) %dopar% {
# A...
272 просмотров
schedule
05.08.2022
Использование foreach вместо цикла for
Я пытаюсь научиться foreach распараллеливать свою задачу
Мой цикл for выглядит так:
# create an empty matrix to store results
mat <- matrix(-9999, nrow = unique(dat$mun), ncol = 2)
for(mun in unique(dat$mun)) {...
109 просмотров
schedule
30.09.2022
Выходной список из двух связанных кадров данных с foreach в R
Допустим, я хочу использовать foreach в пакете doParallel , чтобы вернуть список из двух фреймов данных разных размеров, как показано ниже:
a<-NULL
b<-NULL
for(i in 1:100){
a<-rbind(a,data.frame(input=i,output=i/2))
if(i > 5){...
3878 просмотров
schedule
11.09.2023
Имя символа C отсутствует в таблице загрузки при экспорте функции в цикле foreach
Эта проблема, которую я разместил здесь, на самом деле связана с конфигурацией серверов. Пакет на самом деле не имеет проблем, связанных с R/C.
Я разрабатываю пакет R, используя foreach для ускорения вычислений. Чтобы проиллюстрировать структуру...
1114 просмотров
schedule
28.01.2023
Ошибка в параллельном процессе с использованием doSNOW
Error in { : task 1 failed - "invalid connection"
Почему я получаю эту ошибку каждый раз, когда пытаюсь использовать все 4 ядра для параллельного процесса.
Вот пример кода:
NumberOfCluster <- 4
cl <- makeCluster(NumberOfCluster)...
546 просмотров
schedule
14.02.2023
Почему использование цикла %do% использует несколько процессоров? Ожидаемый последовательный цикл
Я использую foreach и читаю об этом, например.
https://www.r-bloggers.com/the-wonders-of-foreach/
https://www.rdocumentation.org/packages/foreach/versions/1.4.3/topics/foreach
Насколько я понимаю, вы должны использовать %dopar% для...
63 просмотров
schedule
23.10.2022
Использование пакета R clustermq в качестве параллельного бэкэнда для foreach
Я начал использовать пакет clustermq в качестве параллельного бэкенда для конвейера drake и был очень впечатлен улучшениями производительности, которые я наблюдал. Я заинтересован в оценке использования clustermq/rzmq в настройках за пределами drake,...
72 просмотров
schedule
21.07.2023
doParallel работает медленнее, чем последовательная обработка
Я пытаюсь заставить параллельную обработку работать в моей локальной установке RStudio или в облаке RStudio, используя пакет doParallel и следуя руководству здесь .
К сожалению, включение параллельной обработки скорее замедляет вычисления, чем...
31 просмотров
schedule
04.10.2023
Сохранение в цикле foreach (пакет R)?
Я использую пакет foreach для параллельного запуска моделирования Монте-Карло с использованием HPC. У меня нет проблем с тем, что foreach возвращает нужные мне результаты, но мне интересно, можно ли периодически сохранять рабочее пространство....
1547 просмотров
schedule
25.03.2024
Распараллеливание с несколькими ядрами на одного рабочего
В некоторых пакетах R есть функции, которые могут выполнять свою работу параллельно, если доступно несколько ядер — например, пакет rstan может запускать несколько цепочек MCMC параллельно. Когда я запускаю несколько процессов Стэна параллельно...
251 просмотров
schedule
04.06.2024
