Аналогичный вопрос (но ответ у меня не работает): Как отменить длительные подпроцессы, выполняющиеся с помощью concurrent.futures.ProcessPoolExecutor? В отличие от связанного выше вопроса и предоставленного решения, в моем случае само...

У меня есть огромный список элементов, которые нужно как-то обработать. Я знаю, что это можно сделать с помощью Process из многопроцессорности: pr1 = Process(calculation_function, (args, )) pr1.start() pr1.join() и поэтому я могу создать,...

Я хочу запустить несколько скриптов Python одновременно, используя concurrent.futures. Серийная версия моего кода ищет определенный файл python в папке и выполняет его. import re import os import glob import re from glob import glob import...

У меня есть функция, которая запрашивает сервер, извлекает некоторые данные, обрабатывает их и сохраняет файл csv. Эта функция должна быть запущена 20k раз. Каждая казнь длится по-разному: иногда она длится более 20 минут, а иногда менее секунды. Я...

Я использую многопроцессорный пул в Python и его метод .apply_async() для одновременного запуска нескольких рабочих процессов. Но есть проблема из-за использования with вместо создания произвольного экземпляра. Вот что я сделал до сих пор:...

Моя цель - передать родительский массив mp.Pool и заполнить его 2 , распределяя его по разным процессам. Это работает для массивов 1 измерения: import numpy as np import multiprocessing as mp import itertools def worker_function(i=None):...

Я подозреваю, что что-то вроде: @memoize def foo(): return something_expensive def main(): with ProcessPoolExecutor(10) as pool: futures = {pool.submit(foo, arg): arg for arg in args} for future in...