Вопросы по теме 'concurrent.futures'
concurrent.futures.ThreadPoolExecutor.map (): тайм-аут не работает
import concurrent.futures
import time
def process_one(i):
try:
print("dealing with {}".format(i))...
4340 просмотров
schedule
10.09.2021
основной процесс Python и взаимодействие с ProcessPoolExecutor
Какая структура, что основной процесс Python получает результаты от ProcessPoolExecutor после того, как, например, была вызвана команда map.
39 просмотров
schedule
17.11.2021
Запуск программы на Python, которая использует concurrent.futures в веб-приложении на основе сельдерея
Я работаю над приложением django, которое использует сельдерей для распределенных асинхронных процессов. Теперь мне поручили интегрировать процесс, который изначально был написан с concurrent.futures в коде. Итак, мой вопрос: может ли эта работа с...
453 просмотров
schedule
26.11.2021
Python concurrent.futures.ProcessPoolExecutor не работает
В настоящее время я использую concurrent.futures.ProcessPoolExecutor в методе класса следующим образом
import pylogit
def parallel_fitting(index):
X = index[0]
model_spec = index[1]
zeros = index[2]
model =...
133 просмотров
schedule
07.11.2021
Создание большого xml-файла с помощью python 2
Я пытаюсь получить максимальную производительность для создания большого файла XML в Python 2/Django.
Окончательный файл XML составляет ~ 500 МБ. Первый использованный подход был с lxml , но это заняло более 3,5 часов. Я протестировал с помощью...
181 просмотров
schedule
26.03.2022
Как разделить большой объект, доступный только для чтения, между распределенными воркерами Dask
Эта проблема
Я пытаюсь отправить объект CPython размером 2 ГБ только для чтения (можно мариновать) распределенным рабочим dask через apply() . Это приводит к потреблению большого количества памяти для процессов / потоков (14+ ГБ).
Есть ли...
671 просмотров
schedule
06.04.2022
Пулы потоков Python - задачи, которые создают подзадачи и ждут их
Скажем, у меня есть исполнитель пула потоков с макс. 10 потоков, и я отправляю ему задачу, которая сама создает другую задачу и, в свою очередь, рекурсивно ожидает ее завершения, пока я не достигну глубины 11.
Пример кода на Python:
import...
1893 просмотров
schedule
12.04.2022
Вопрос Python 3 о переборе массива с использованием CSV-файла с Selenium и Concurrent Futures
Нуб Python здесь, поэтому я постараюсь предоставить как можно больше подробностей. Я экспериментирую с модулем параллельных фьючерсов Python, чтобы посмотреть, смогу ли я ускорить парсинг с помощью Selenium. Я соберу некоторые финансовые данные с...
32 просмотров
schedule
22.06.2022
Многопоточность: получение URL
Я попытался выполнить многопроцессорный процесс получения URL-адресов, поскольку в противном случае обработка 300 тыс. URL-адресов, которые я хочу обработать, заняла бы огромное количество времени. Каким-то образом мой код перестает работать через...
49 просмотров
schedule
11.07.2022
Как установить shell=True для Subprocess.run с исполнителем потоков пула concurrent.future
Я пытаюсь использовать многопоточность concurrent.future в Python с subprocess.run для запуска внешнего скрипта Python. Но у меня есть некоторые проблемы с частью shell=True subprocess.run().
Вот пример внешнего кода, назовем его test.py:...
328 просмотров
schedule
05.08.2022
Использование запросов Python и, возможно, concurrent.futures для обработки данных в реальном времени.
У меня есть поток данных в реальном времени с использованием requests :
request = requests.get($URL,stream=True)
stream = request.iter_lines()
Мы можем предположить, что next(stream) возвращает что-то вроде
"alice"...
40 просмотров
schedule
29.08.2022
Python concurrent.futures с использованием подпроцесса, запускающего несколько скриптов Python
Я хочу запустить несколько скриптов Python одновременно, используя concurrent.futures. Серийная версия моего кода ищет определенный файл python в папке и выполняет его.
import re
import os
import glob
import re
from glob import glob
import...
1449 просмотров
schedule
04.09.2022
Извлечь значение из AsyncEither — ScalaZ
Я новичок в ScalaZ и в Scala в целом, поэтому столкнулся с проблемой ниже. Я написал несколько модульных тестов для своего приложения, и мне нужно извлечь значение фактического ответа.
Можете ли вы подсказать, как я могу это сделать?
Expected...
40 просмотров
schedule
19.09.2022
От concurrent.futures к asyncio
У меня две проблемы с concurrent.futures :
Как сломать time.sleep() в python concurrent.futures?
Вывод: time.sleep() нельзя прервать. Одно из решений: вы можете написать вокруг него цикл и делать короткие засыпания.
См. Как разбить...
8073 просмотров
schedule
03.10.2022
Scala и ограниченная по времени обработка
Я прохожу курс General Game Playing (GGP) Coursera Майкла Дженесерета. В GGP игроку дается фиксированное количество времени, чтобы сделать ход. Я пишу свои плееры на Scala. (Основной кодовой базой GGP является Java.) Предоставляет ли Scala...
57 просмотров
schedule
21.03.2023
Как обнаружить исключения в concurrent.futures в Python3?
Я только что перешел на python3 из-за его параллельного модуля фьючерсов. Мне было интересно, смогу ли я заставить его обнаруживать ошибки. Я хочу использовать параллельные фьючерсы для параллельной программы, если есть более эффективные модули,...
9905 просмотров
schedule
12.01.2023
gevent + concurrent.futures и SQLAlchemy
Я запускаю и pyramid приложение внутри контейнера gunicorn с асинхронными рабочими gevent, одна из конечных точек - это конечная точка с длинным пулом, объединяющая AMQP через kombu .
Если длинный пул с 30-секундным тайм-аутом возвращает...
541 просмотров
schedule
27.10.2022
параллельное выполнение scala futures с использованием цикла for
package p1
import scala.util.Failure
import scala.util.Success
import scala.concurrent.Await
import scala.concurrent.Future
import scala.concurrent.ExecutionContext.Implicits.global
import scala.concurrent.duration._
object modCheck extends App {...
2592 просмотров
schedule
02.01.2023
Поиск причины BrokenProcessPool в concurrent.futures Python
Кратко
Я получаю исключение BrokenProcessPool при распараллеливании моего кода с concurrent.futures . Дальнейшая ошибка не отображается. Я хочу найти причину ошибки и попросить идеи, как это сделать.
Полная проблема
Я использую...
11314 просмотров
schedule
28.10.2022
Как быть с одновременным привязкой ввода-вывода и ЦП в контексте параллелизма?
Возможно ли запустить несколько потоков на всех доступных процессорах, а не один? Пример кода был бы отличным.
В качестве альтернативы, могу ли я охватить несколько процессов, а затем создать многопоточность в каждом процессе?
Я использую...
812 просмотров
schedule
16.11.2022
