Ресурсы графического процессора Apache Aurora

Я проверяю Apache Aurora с точки зрения запуска научных рабочих процессов (при условии, что набор сценариев Python в определенной последовательности). Мне удалось успешно запустить несколько таких заданий aurora, и они отлично подходят для моего конкретного случая использования.

Мне было интересно, есть ли способ указать, что для конкретной задачи (или задания в целом) требуется определенное количество ресурсов графического процессора из моего кластера Apache Mesos. можно определить эти ресурсы графического процессора, как указано здесь.

Таким образом, вопрос заключается в том, есть ли способ связаться с Mesos через Aurora, чтобы принимать предложения с доступными ресурсами GPU. Насколько я могу судить, объект Resource в Aurora ограничен ресурсами CPU/RAM/Disk. Любые подсказки приветствуются.

Спасибо!


mesos apache-aurora
person Andrea DeMarco    schedule 15.06.2015    source источник

Ответы (2)


arrow_upward
1
arrow_downward

При проверке учебника Aurora я предполагаю, что вы можете просто указать этот ресурс как часть ваше описание работы: resources = Resources(cpu = 2, ram = 4*GB, disk = 8*GB, gpu = 1),

Просто имейте в виду, что это искусственный ресурс для Mesos, поэтому в этом случае Mesos не позаботится об изоляции ресурсов. Например, если у вас есть несколько графических процессоров в одной системе, ваш код должен будет управлять изоляцией/планированием между различными графическими процессорами.

person js84    schedule 16.06.2015
comment
Вот как я предполагаю, что API должен быть расширен, но проверка текущей кодовой базы показывает, что текущий API не принимает никаких других типов ресурсов.ссылка - person Andrea DeMarco; 16.06.2015

arrow_upward
0
arrow_downward

Я не знаком с Apache Aurora, но Mesosphere Marathon (фреймворк, похожий на Aurora по функциональности) также ограничен ресурсами процессора, памяти и диска.

Если вы хотите использовать пользовательские ресурсы, вам, вероятно, потребуется написать собственную структуру. В зависимости от ваших потребностей это может быть не так сложно. Для вдохновения проверьте структуру RENDLER.

Как упоминалось в ветке, на которую вы ссылаетесь, Mesos не обеспечивает изоляцию для ресурсов GPU (фактически, для любых пользовательских) ресурсов. Имейте это в виду при расчете ресурсов.

person rukletsov    schedule 16.06.2015
comment
Я понял, как много. Похоже, что на уровне Mesos проводится некоторая работа по интеграции других ресурсов, таких как GPU и FPGA: [link(]issues.apache.org/jira/browse/MESOS-2262) Это означает, что фреймворки могут в конечном итоге интегрировать это, но я сомневаюсь, что это будет вовремя для моего проекта :( - person Andrea DeMarco; 16.06.2015
comment
Да, вы можете написать свой собственный фреймворк. Тем не менее, вы можете создать билет как в Marathon, так и в Aurora. - person rukletsov; 16.06.2015