Пользователи могли запускать несколько процессов в condor и получать доступ к хранилищу isilon. Некоторые могут злоупотреблять пропускной способностью чтения за счет других. Допустим, isilon может работать со скоростью чтения 10 ГБ/с. Если у меня есть 3 пользователя со 100 процессами, каждый из которых пытается прочитать 1 ГБ/с, то остальные будут сильно голодать. Какие решения существуют? Ограничения на один хост не работают, так как пользователь читает через condor.
Как установить ограничение пропускной способности пользователя для хранилища Isilon
Ответы (1)
Есть несколько способов сделать это в HTCondor, в зависимости от характера вашей работы и вашей системы.
Во-первых, вы можете использовать функцию ограничения параллелизма, чтобы глобально ограничить количество запущенных заданий для всех пользователей. Каждое задание должно будет объявить, что оно использует некоторый процент пропускной способности файлового сервера. В конфигурации центрального менеджера вы можете установить ограничение, скажем
IPSILON_LIMIT = 1000
Затем каждое задание может объявить, что они используют некоторую часть этой пропускной способности, добавив к своему описанию задания
concurrency_limits = ипсилон: 100
объявляя, что это задание будет использовать 100 из доступных 1000 общей пропускной способности.
Второй способ может работать, когда ваши файлы могут быть переданы один раз с удаленного файлового сервера в локальный рабочий каталог, обработаны локально и переданы обратно, когда работа будет выполнена. Если это соответствует вашей модели использования, вы можете посмотреть на пользовательские плагины для передачи файлов. Затем HTcondor скопирует файлы с сервера в локальный рабочий каталог, но количество этих активных передач может быть ограничено для каждого расписания.
person
Greg
schedule
22.12.2018
