Я работаю над приложением django, которое использует сельдерей для распределенных асинхронных процессов. Теперь мне поручили интегрировать процесс, который изначально был написан с concurrent.futures в коде. Итак, мой вопрос: может ли эта работа с одновременной обработкой фьючерсов работать в очереди задач сельдерея. Вызовет ли это какие-нибудь проблемы? Если да, то как лучше всего двигаться вперед? Параллельный процесс, который был написан ранее, требует больших ресурсов, поскольку он может избежать GIL. Кроме того, это очень быстро из-за этого. Мало того, что процесс использует concurrent.futures.ProcessPoolExecutor и внутри него еще несколько (‹5) заданий concurrent.futures.ThreadPoolExecutor.
Итак, теперь реальный вопрос заключается в том, должны ли мы извлечь все основные функции процесса и переписать их, разбив их как задачи приложения сельдерея, или просто сохранить исходный код и запустить его как один большой фрагмент кода в очереди сельдерея.
Согласно проекту системы, пользователь системы может отправить несколько таких задач сельдерея, которые будут содержать параллельный код фьючерса.
Любая помощь будет оценена по достоинству.
