В системах управления рабочими процессами, когда у вас огромное количество задач, вам часто нужно видеть количество (или процент) выполненных задач.
Другие системы wfms, такие как Snakemake, делают это по умолчанию. Хотя в документации Луиджи мне не удалось найти подобную функциональность.
Я хотел бы видеть процентную информацию в командной строке.
Есть ли способ добиться этого?
Заранее спасибо!
Я не думаю, что команда Луиджи сделала это, потому что их подход заключается в запуске демона центрального планировщика для масштабирования. Они, вероятно, примут пул-реквест, который подключается к их демону центрального планировщика, чтобы получить общее количество задач, находящихся в данный момент в очереди, и тех, которые выполнены. Однако одна проблема заключается в том, что вы можете использовать центральный планировщик для множества различных рабочих процессов одновременно, поэтому семантически может быть сложнее определить, какие задачи вы учитываете. Наконец, если вы выполняете достаточно большое количество заданий (по моему опыту, 10 000), я бы не стал использовать Luigi из-за накладных расходов. Вы можете увидеть мой опыт работы с ним здесь: AWS Step Functions vs Luigi для оркестровки
Однако, если они не привязаны к командной строке, просто используйте веб-интерфейс, который они предоставляют. Это довольно информативно.
