Google Cloud ML: используйте Nightly TF Import Error Нет модуля tensorflow

Я хочу обучить модель NMT от Google на Google Cloud ML. Модель NMT

Теперь я помещаю все входные данные в корзину и скачиваю репозиторий git. Модель нуждается в ночной версии tensorflow, поэтому я определил ее в setup.py, и когда я использую версию процессора tf-nightly == 1.5.0-dev20171115 и запускаю следующую команду, чтобы запустить ее в GCP local, она работает.

Тренируйте местных в гугле:

gcloud ml-engine local train --package-path nmt/ \
                             --module-name nmt.nmt \
                             -- --src=en --tgt=de \
                             --hparams_path=$HPARAMAS_PATH \
                             --out_dir=$OUTPUT_DIR \
                             --vocab_prefix=$VOCAB_PREFIX \
                             --train_prefix=$TRAIN_PREFIX \
                             --dev_prefix=$DEV_PREFIX \
                             --test_prefix=$TEST_PREFIX

Теперь, когда я использую версию gpu со следующей командой, я получил это сообщение об ошибке через несколько минут после отправки задания.

Тренируйтесь в облаке

gcloud ml-engine jobs submit training $JOB_NAME \
                             --runtime-version 1.2 \
                             --job-dir $JOB_DIR \
                             --package-path nmt/ \
                             --module-name nmt.nmt \
                             --scale-tier BAISC_GPU \
                             --region $REGION \
                             -- --src=en --tgt=de \
                             --hparams_path=$HPARAMAS_PATH \
                             --out_dir=$OUTPUT_DIR \
                             --vocab_prefix=$VOCAB_PREFIX \
                             --train_prefix=$TRAIN_PREFIX \
                             --dev_prefix=$DEV_PREFIX \
                             --test_prefix=$TEST_PREFIX

Ошибка: импортировать тензорный поток как tf ImportError: нет модуля с именем tensorflow

setup.py:

from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['tf-nightly-gpu==1.5.0-dev20171115']
setup(
        name="nmt",
        install_requires=REQUIRED_PACKAGES,
        packages=find_packages(),
        include_package_data=True,
        version='0.1.2'
)

Заранее всем спасибо Маркус

Обновлять:

Я нашел примечание к документам GCP. Примечание. Обучение с использованием TensorFlow версий 1.3+ ограничивается только процессорами. См. Примечания к выпуску Cloud ML Engine для получения обновлений.

Так что, похоже, в настоящее время это не работает, я думаю, что мне нужно использовать вычислительный движок.

Или есть какой-нибудь хак, чтобы он заработал?

Однако спасибо за вашу помощь


tensorflow google-cloud-ml tensorflow-gpu
person Markus M    schedule 01.12.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Для TensorFlow 1.5 может потребоваться более новая версия CUDA (например, CUDA 9), но установленная версия CloudML Engine - CUDA 8. Не могли бы вы вместо этого попробовать использовать TensorFlow 1.4, который работает на CUDA 8? Сообщите нам, подходит ли вам версия 1.4, или отправьте нам электронное письмо по адресу [email protected].

person Guoqing Xu    schedule 01.12.2017
comment
Спасибо, но это все равно не работает. Я использовал tf-nightly-gpu == 1.4.0-dev20171006. - person Markus M; 01.12.2017
comment
Я нашел примечание к cloud.google.com/ml-engine/docs/versioning Примечание. Обучение с использованием TensorFlow версий 1.3+ ограничено только процессорами. См. Примечания к выпуску Cloud ML Engine для получения обновлений. Так что, похоже, в настоящее время это не работает, я думаю, что мне нужно использовать вычислительный движок. Или есть какой-нибудь хак, чтобы он заработал? Однако спасибо за вашу помощь - person Markus M; 02.12.2017
comment
TF 1.5 nightly на самом деле требует CUDA 8, но cudnn был увеличен до 6.0, в то время как наш сервис предустановил 5.1 для TF 1.2. Через пару недель мы выпустим официальную поддержку TF 1.4, драйверы которого совместимы с TF 1.5. До этого вам, возможно, придется использовать GCE. Приносим извинения за неудобства! - person Guoqing Xu; 04.12.2017