Google Cloud: как использовать Cloud ML в Cloud Datalab

Я обучаю модели в керасе и тензорном потоке в Google Cloud Datalab. Я хочу выполнять задания по обучению в Cloud ML. Можно ли это сделать с помощью команды %% bash [...]?

Допустим, моя модель выглядит примерно так:

X = tf.placeholder(tf.float32, shape=[None, num_inputs])
hidden = fully_connected(X, num_hidden, activation_fn=None)
outputs = fully_connected(hidden, num_outputs, activation_fn=None)
loss = tf.reduce_mean(tf.square(outputs - X))
optimizer = tf.train.AdamOptimizer(learning_rate)
train  = optimizer.minimize( loss)
init = tf.global_variables_initializer()

num_steps = 3000
    with tf.Session() as sess:
    sess.run(init)

    for iteration in range(num_steps):
        sess.run(train,feed_dict={X: scaled_data})

Как я могу обучиться этому в работе облачного машинного обучения?


person Nicky Feller    schedule 09.04.2018    source источник


Ответы (1)


Вы можете выполнить следующие действия:

  1. Организуйте свой код (https://cloud.google.com/ml-engine/docs/tensorflow/packaging-trainer), чтобы он выглядел так: ./ ./setup.py ./train/ ./< sizesinit

    Здесь setup.py включает ваши зависимости. task.py - это модуль Python для вашего тренера, поэтому ваш код должен переместиться туда. Также вот пример CloudML: https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/iris/trainer

    В Datalab или Jupyter есть команда %% file для сохранения файлов на локальный диск. Это один из способов создания и редактирования ваших файлов py.

  2. Запустите команду «gcloud ml-engine jobs submit training», чтобы отправить запрос на обучение. Например:

    Задания gcloud ml-engine отправить обучение my-job-id --runtime-version = 1.6 --module-name trainer.task --job-dir = gs: // mybucket / mydir --region us-central1 - - параметр1 значение1 --парам2 значение2

person Bradley Jiang    schedule 09.04.2018
comment
Верно. Существует библиотека для отправки задания на обучение (github.com/googledatalab/pydatalab/blob/master/google/datalab/), но вам все равно нужно создать свой пакет python. - person Bradley Jiang; 15.04.2018