Можете ли вы транспонировать массив при отправке с использованием MPI_Type_create_subarray?

Я пытаюсь транспонировать матрицу, используя MPI в C. Каждый процесс имеет квадратную подматрицу, и я хочу отправить ее в правильный процесс («противоположный» в сетке), транспонируя его как часть коммуникации.

Я использую MPI_Type_create_subarray, у которого есть аргумент для порядка: MPI_ORDER_C или MPI_ORDER_FORTRAN для основных строк и столбцов соответственно. Я думал, что если я отправлю как один из них, а получу как другой, то моя матрица будет транспонирована как часть сообщения. Однако, похоже, этого не происходит - он просто остается не транспонированным.

Важная часть кода приведена ниже, а весь файл кода доступен по адресу this gist. Есть ли у кого-нибудь идеи, почему это не работает? Должен ли этот подход к выполнению работы транспонирования? Я бы так и подумал, прочитав описания MPI_ORDER_C и MPI_ORDER_FORTRAN, но, может быть, нет.

/* ----------- DO TRANSPOSE ----------- */
/* Find the opposite co-ordinates (as we know it's a square) */
coords2[0] = coords[1];
coords2[1] = coords[0];

/* Get the rank for this process */
MPI_Cart_rank(cart_comm, coords2, &rank2);

/* Send to these new coordinates */

tag = (coords[0] + 1) * (coords[1] + 1);

/* Create new derived type to receive as */
/* MPI_Type_vector(rows_in_core, cols_in_core, cols_in_core, MPI_DOUBLE, &vector_type); */
sizes[0] = rows_in_core;
sizes[1] = cols_in_core;

subsizes[0] = rows_in_core;
subsizes[1] = cols_in_core;

starts[0] = 0;
starts[1] = 0;

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_DOUBLE, &send_type);
MPI_Type_commit(&send_type);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_DOUBLE, &recv_type);
MPI_Type_commit(&recv_type);


/* We're sending in row-major form, so it's just rows_in_core * cols_in_core lots of MPI_DOUBLE */
MPI_Send(&array[0][0], 1, send_type, rank2, tag ,cart_comm);

/* Receive from these new coordinates */
MPI_Recv(&new_array[0][0], 1, recv_type, rank2, tag, cart_comm, &status);

c parallel-processing mpi hpc openmpi
person robintw    schedule 11.04.2011    source источник

Ответы (1)


arrow_upward
8
arrow_downward

Я бы подумал, что это тоже сработает, но, видимо, нет.

Если вы долго просматриваете соответствующий бит стандарта MPI где он фактически определяет результирующую карту типов, причина становится ясной - MPI_Type_create_subarray отображает область, которую подмассив занимает в полном массиве, но перемещается по памяти в линейном порядке, поэтому макет данных не меняется. Другими словами, когда размеры равны подмассивам, подмассив - это просто непрерывный блок памяти; а для подмассива, строго меньшего, чем весь массив, вы просто меняете субрегион, в который отправляется / принимается, а не порядок данных. Вы можете увидеть эффект, выбрав только подобласть:

int sizes[]={cols,rows};
int subsizes[]={2,4};
int starts[]={1,1};

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_INT, &ftype);
MPI_Type_commit(&ftype);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_INT, &ctype);
MPI_Type_commit(&ctype);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqc);
MPI_Recv(&(recvc[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD, &statusc);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqf);
MPI_Recv(&(recvf[0][0]), 1, ftype, 0, 1, MPI_COMM_WORLD, &statusf);

/*...*/

printf("Original:\n");
printarr(send,rows,cols);
printf("\nReceived -- C order:\n");
printarr(recvc,rows,cols);
printf("\nReceived: -- Fortran order:\n");
printarr(recvf,rows,cols);

дает вам это:

  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 

Received -- C order:
  0   0   0   0   0   0   0 
  0  11  12  13  14   0   0 
  0  21  22  23  24   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 

Received: -- Fortran order:
  0   0   0   0   0   0   0 
  0  11  12   0   0   0   0 
  0  13  14   0   0   0   0 
  0  21  22   0   0   0   0 
  0  23  24   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0

Таким образом, отправляются и принимаются одни и те же данные; все, что на самом деле происходит, - это то, что размеры массивов, размеры и начало меняются местами.

Вы можете транспонировать с типами данных MPI - стандарт даже дает пара примеров, один из которых я здесь транслитерировал на C, но вам нужно создать типы самостоятельно. Хорошая новость заключается в том, что на самом деле это не больше, чем материал подмассива:

MPI_Type_vector(rows, 1, cols, MPI_INT, &col);
MPI_Type_hvector(cols, 1, sizeof(int), col, &transpose);
MPI_Type_commit(&transpose);

MPI_Isend(&(send[0][0]), rows*cols, MPI_INT, 0, 1, MPI_COMM_WORLD,&req);
MPI_Recv(&(recv[0][0]), 1, transpose, 0, 1, MPI_COMM_WORLD, &status);

MPI_Type_free(&col);
MPI_Type_free(&transpose);

printf("Original:\n");
printarr(send,rows,cols);
printf("Received\n");
printarr(recv,rows,cols);



$ mpirun -np 1 ./transpose2 
Original:
  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 
Received
  0  10  20  30  40  50  60 
  1  11  21  31  41  51  61 
  2  12  22  32  42  52  62 
  3  13  23  33  43  53  63 
  4  14  24  34  44  54  64 
  5  15  25  35  45  55  65 
  6  16  26  36  46  56  66
person Jonathan Dursi    schedule 13.04.2011
comment
Я не могу проголосовать за это достаточно. Я просто провел много времени с коллегой, который помогал разработать MPI-2 (!), По поводу MPI_ORDER_C против MPI_ORDER_FORTRAN и его эффектов. - person Rob Latham; 13.10.2012