Сохранить очередь Python в файл

Рассматривали ли вы возможность просто процедить свою очередь?

Есть несколько подходов к этому, включая модуль pickle...

Но, на мой взгляд, было бы проще просто записать в файл, строку за строкой, каждый элемент очереди в столбцах, содержащих другие свойства, которые вы, возможно, захотите сохранить, например task_done.

пример:

element1, True
element2, False
...

В python очень легко читать файл, отформатированный следующим образом:

for line in file('path/file.ext'):
    name, state = line.split(sep_char)
    #and them insert into the queue...

Самый простой способ сделать это — использовать AMQP для очередей сообщений и позволить брокеру сообщений позаботиться о сообщениях за вас. Я реализовал аналогичную систему, используя RabbitMQ в качестве брокера сообщений с надежными постоянными очередями. Сообщения даже пережили сбой серверного программного обеспечения RabbitMQ, когда я использовал устаревшую версию сервера 1.72 на виртуальном сервере Linux с 512 МБ ОЗУ и примерно миллионом сообщений в игре.

Как я это делаю, каждый тип работника потребляет сообщения из другой очереди. Если мне нужно более одного работника этого типа, то очередь сообщений автоматически циклически обрабатывается, и если работник не может завершить обработку сообщения, он просто не подтверждает его, и он возвращается в очередь.

Я написал небольшой модуль-прокладку примерно из 80 строк кода, чтобы разместить его перед kombu, а позже переписал его, чтобы использовать py-amqplib. Если бы я знал о haigha раньше, я бы использовал его, так как он очень близко соответствует документу со спецификациями AMQP.

Я не рекомендую комбу, потому что он очень сложен для отладки и странным образом расходится со стандартом AMQP. Взгляните на haigha, потому что, хотя документация представляет собой не более чем один пример фрагмента кода на PyPi, она лучше документирована, чем kombu или amqplib, потому что вы можете использовать спецификации AMQP в качестве документов haigha.

Я могу предложить простой вариант — обернуть таблицу базы данных в класс и использовать ее в качестве очереди. Столбец с автоинкрементом будет творить чудеса для этого (следующий элемент, который нужно удалить, — это элемент с наименьшим идентификатором).

class dbQueue:
  init():
    # Pick some random id for this run (or set it to some thing you know).
  put():
    # Insert entry into table
  get():
    # The update .. select combo removes the need for a database that has transactions.
    # If no entries bear your ID:
      # Update the next entry that is not already marked with your ID.
    # Select the entry that matches your ID and return it.
  task_done():
    # Delete the entry with your ID.

Это не будет иметь наилучшей производительности в зависимости от того, как часто обновляется очередь, даже база данных sqlite в памяти не будет такой быстрой, как структура связанного списка. Обратная сторона заключается в том, что вы можете просматривать базу данных с помощью любого инструмента, который имеет доступ к базе данных, поэтому вы можете видеть, какой из них выполняется.

Реализуйте механизм рукопожатия между работником и мастером.

У мастера есть список задач, прежде чем помещать их в Очередь, соберите список в файл. Затем вставьте задачу в очередь. Когда рабочий завершает работу, он отправляет обратно сообщение ACK. Только в этот момент разберите список задач и удалите соответствующий идентификатор.