Как я могу вернуть непрозрачный дескриптор (void* или dword), который можно привести обратно к элементу значения, хранящемуся в карте boost::interprocess?

Если handle должен быть указателем на std::pair в общей памяти, тогда ваш код будет работать при условии, что вы знаете, что areaKey находится на карте. В этом нет ничего плохого, за исключением того, что вам не нужно явное приведение (и если вы приведете, то static_cast<void*>() будет предпочтительнее).

Я не использовал boost::interprocess, но я думаю, вам нужно будет использовать boost::interprocess::string или std::basic_string с распределителем не по умолчанию для вашего ключа. Если boost::interprocess не делает что-то необычное под капотом, использование std::string поместит указатель на локальную память (для строкового буфера) в разделяемую память, которая не будет иметь смысла в другом процессе.

Вот тестовая программа, использующая карту со строковыми ключами:

#include <iostream>
#include <string>
#include <boost/foreach.hpp>
#include <boost/format.hpp>
#include <boost/interprocess/allocators/allocator.hpp>
#include <boost/interprocess/containers/map.hpp>
#include <boost/interprocess/containers/string.hpp>
#include <boost/interprocess/managed_shared_memory.hpp>

namespace bi = boost::interprocess;

#define SHARED_STRING 1 // set to 1 for interprocess::string, 0 for std::string
static const char *SHARED_MEMORY_NAME = "MySharedMemory";
static const char *SHARED_MAP_NAME = "MySharedMap";

int main(int argc, char *argv[]) {
#if SHARED_STRING
   typedef bi::allocator<char, bi::managed_shared_memory::segment_manager> CharAllocator;
   typedef bi::basic_string<char, std::char_traits<char>, CharAllocator> Key;
#else
   typedef std::allocator<char> CharAllocator;
   typedef std::basic_string<char, std::char_traits<char>, CharAllocator> Key;
#endif

   typedef int Mapped;
   typedef std::pair<const Key, Mapped> Value;
   typedef bi::allocator<Value, bi::managed_shared_memory::segment_manager> MapAllocator;
   typedef bi::map<Key, Mapped, std::less<Key>, MapAllocator> Map;

   bi::managed_shared_memory *segment;
   Map *map;
   if (argc <= 1) {
      // Create new shared memory segment.
      bi::shared_memory_object::remove(SHARED_MEMORY_NAME);
      segment = new bi::managed_shared_memory(bi::create_only, SHARED_MEMORY_NAME, 65536);

      MapAllocator mapAllocator(segment->get_segment_manager());
      map = segment->construct<Map>(SHARED_MAP_NAME)(std::less<Key>(), mapAllocator);
      assert(map);
   }
   else {
      // Open existing shared memory segment.
      segment = new bi::managed_shared_memory(bi::open_only, SHARED_MEMORY_NAME);

      map = segment->find<Map>(SHARED_MAP_NAME).first;
      assert(map);
   }

#if SHARED_STRING
   CharAllocator charAllocator(segment->get_segment_manager());
#else
   CharAllocator charAllocator;
#endif
   while (true) {
      std::string input;
      if (!getline(std::cin, input))
         break;

      map->insert(std::make_pair(Key(input.begin(), input.end(), charAllocator), 0));

      BOOST_FOREACH(const Value& value, *map)
         std::cout << boost::format("('%s',%d)\n") % value.first % value.second;
   }

   delete segment;
   bi::shared_memory_object::remove(SHARED_MEMORY_NAME);

   return 0;
}

Запустите его без аргументов, чтобы создать новый сегмент разделяемой памяти, и хотя бы с одним аргументом, чтобы открыть существующий сегмент разделяемой памяти (вызов без аргументов уже должен выполняться). В обоих случаях программа будет итеративно считывать ключ из stdin, вставлять запись в карту и записывать содержимое в stdout.