Как читать из нескольких очередей в реальном мире?

Я прочитал другие ответы (очень хорошие ответы) и хотел добавить к этому свой собственный взгляд.

Придерживаясь очередей Windows Azure, как описывал @Lucifure: я действительно не вижу необходимости в нескольких очередях, за исключением двух сценариев:

• Вы хотите другие приоритеты. Последнее, что вам нужно, — это сообщение с высоким приоритетом, застрявшее за сотнями сообщений с низким приоритетом. Создайте очередь hi-pri для них.
• Количество прочитанных и удаленных сообщений превысит целевой показатель в 500 транзакций в секунду. В этом случае создайте несколько очередей, чтобы распределить объем транзакций по разделам хранилища (а учетная запись хранения будет обрабатывать до 5 000 транзакций в секунду).

Если вы придерживаетесь одной очереди (на основе хранилища, а не служебной шины), вы можете читать блоки сообщений одновременно (до 32). Вы можете легко разработать формат, который поможет вам различать типы сообщений (возможно, с помощью простого префикса). Затем просто передайте сообщение соответствующему потоку для обработки. В очередях служебной шины нет операций чтения нескольких сообщений, хотя они допускают предварительную выборку (что приводит к загрузке буферизованных сообщений в кэш).

Преимущество одной очереди над многими: вы устраняете (или значительно уменьшаете) проблему «во многих очередях нет сообщений, что приводит к пустым чтениям».

Если вам нужна большая пропускная способность, вы всегда можете увеличить количество потоков, выполняющих чтение и диспетчеризацию очереди.

Помните, что каждое удаление является атомарным; нет дозирования. И что касается опроса очереди: вы правы, когда думаете об отсрочке. Вам не нужно отступать после успешного прочтения сообщения (или блока сообщений). Просто отступите, когда вы ничего не получите после попытки чтения.

Одно приятное преимущество по сравнению с очередями служебной шины: очереди Windows Azure предоставляют вам приблизительное количество сообщений (что очень полезно при рассмотрении масштабирования до нескольких экземпляров). Очереди служебной шины не обеспечивают этого.

Альтернативной стратегией может быть использование одной или меньшего количества очередей, чтобы очередь могла поддерживать более одного типа сообщений. Этот подход проще в управлении и дешевле, если ваша системная архитектура поддерживает его.

В реальном мире я успешно использовал несколько очередей (в целях масштабируемости), каждая очередь читалась в отдельном потоке, запускаемом событием таймера. В зависимости от нагрузки на очередь и потребностей приложения событие таймера было изменено для обслуживания очереди с динамически меняющимися интервалами.

Если вам недостаточно механизма отсрочки для очередей хранилища, я предлагаю вам рассмотреть очереди служебной шины. С помощью очередей служебной шины вам не придется проводить такие агрессивные опросы.

Вам все равно потребуется реализовать цикл для опроса очереди, но тайм-аут приема делает его легче, чем механизм постоянного опроса, который у вас был бы при использовании очередей хранилища.

В следующем примере я пытаюсь получить сообщение из очереди. Если сообщение не найдено, оно будет держать соединение открытым в течение 30 секунд, чтобы увидеть, не поступило ли что-нибудь новое. Если сообщение не поступило через 30 секунд, метод Receive вернет значение null (и у меня будет цикл, пытающийся снова вызвать Receive). Обратите внимание, что максимальное время ожидания составляет 24 дня.

MessagingFactory factory = MessagingFactory.Create(ServiceBusEnvironment.CreateServiceUri("sb", ServiceNamespace, string.Empty), credentials); 
QueueClient myQueueClient = factory.CreateQueueClient("TestQueue");
myQueueClient.Receive(new TimeSpan(hours: 0, minutes: 0, seconds: 30));

Создание потоков для каждой очереди, из которой вы хотите читать, — хорошая идея, но, учитывая ограничения емкости пула потоков CLR, вам также следует рассмотреть возможность получения сообщений асинхронно (например, с помощью TaskFactory.FromAsync): http://msdn.microsoft.com/en-us/library/windowsazure/hh851744.aspx