Сохранение модели в файл в режиме VW span_server

У Vowpal Wabbit есть --span_server режим, который позволяет обучать модель параллельно. Интересно, как мне указать параметр -f в этом случае?
Например - я разделяю свои данные на две части и выполняю следующее: $ ./cluster/spanning_tree $ vw --span_server localhost --total 2 --node 0 -d part1.data --holdout_off $ vw --span_server localhost --total 2 --node 1 -d part2.data --holdout_off Я ожидаю, что оба экземпляра vw периодически обмениваются данными для синхронизации весов функций. Таким образом, в конце должна быть одна синхронизированная модель, которая может храниться на диске с -f. Я прав? Если да, следует ли мне добавлять -f model.file в каждую командную строку vw? Последний узел обнаружит, что это последний запущенный узел, и сохранит ли модель в файл?


person truf    schedule 03.08.2016    source источник


Ответы (1)


Для записи в файл модели вам понадобится только один из узлов, поскольку allreduce создаст один и тот же файл модели для каждого узла.

person peterhurford    schedule 08.12.2016