Управление приоритетом планирования потоков Python?

Я считаю, что приоритет потоков не контролируется в python из-за того, как они реализованы с использованием глобальной блокировки интерпретатора (GIL). Сказав это, даже если бы вы могли дать одному потоку больше приоритета обработки ЦП, реализация Python, которая передает GIL, не знала бы об этом, поскольку она передавала GIL. Если бы вы могли повысить точность в одном потоке в вашем пуле (скажем, он выполняет более важную работу), вам нужно было бы использовать собственную реализацию блокировок, чтобы чаще предоставлять потоку с более высоким приоритетом доступ к GIL.

Поиск в Google возвращает эту статью, которая, я считаю, похожа на то, что вы спрашиваете.

Объясняет, почему это не работает http://www.velocityreviews.com/forums/t329441-threading-priority.html

Объясняет обходной путь, который я предлагал http://bytes.com/topic/python/answers/645966-setting-thread-priorities

Это не работает, но я пробовал:

1. получение родительского pid и приоритета
2. запуск потоков с помощью concurrent.futures.ThreadPoolExecutor
3. использование ctypes для получения идентификатора потока (linux) из потока (работает)
4. используя tid с os.setpriority(os.PRIO_PROCESS,tid,parent_priority+1)
5. вызов pool.shutdown() из родителя.

Даже с обильным добавлением os.sched_yield() дочерние потоки на самом деле никогда не проходят дальше setpriority().

Читая справочные страницы, кажется, что потоки не имеют возможности изменять (даже свой) приоритет планирования; вам нужно что-то сделать с «возможностями», чтобы дать потоку возможность «CAP_SYS_NICE». Запуск процесса с правами root также не помог; дочерние потоки по-прежнему не запускаются.

В python threading-docs явно упоминается, что нет поддержки установки приоритетов потоков. :

Дизайн этого модуля в общих чертах основан на модели многопоточности Java. Однако там, где Java делает блокировки и условные переменные базовым поведением каждого объекта, в Python они являются отдельными объектами. Класс Thread в Python поддерживает подмножество поведения класса Thread в Java; в настоящее время нет приоритетов, нет групп потоков, и потоки нельзя уничтожить, остановить, приостановить, возобновить или прервать. Статические методы Java-класса Thread при реализации сопоставляются с функциями уровня модуля.

Я знаю, прошло много времени, но я недавно наткнулся на этот вопрос, и подумал, что было бы полезно добавить еще один вариант.

Взгляните на threading2, который является встраиваемой заменой и расширением для модуль threading по умолчанию, с поддержкой — своего рода — для приоритета и сходства.

Мне было интересно, может ли этот ответ на другой связанный вопрос быть полезным в этом сценарии? (ссылка)

Поскольку вы уже используете Subprocess.POpen для запуска вашего PHP-скрипта, мне кажется, что вы можете использовать «preexec_fn» и либо предопределенную функцию, либо лямбда-функцию (как показано в приведенном выше связанном ответе), чтобы установить хороший уровень каждого запущенного потока PHP?