Как построить кодировщик из загруженной модели в Keras?

У меня есть модель кодировщика-декодера, структура которой такая же, как у machinelearningmastery.com с num_encoder_tokens = 1949, num_decoder_tokens = 1944 и latent_dim = 2048.

Я хотел бы построить модели кодировщика и декодера, загрузив уже обученную модель и попытавшись декодировать некоторые образцы, но получаю сообщение об ошибке "Graph disconnected: cannot obtain value for tensor Tensor("input_1_1:0", shape=(?,?, 1949), dtype=float32) at layer "input_1". The following previous layers were accessed without issue: [].

Часть моего кода следующая:

encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
encoder_states = [state_h, state_c]

decoder_inputs = Input(shape=(None, num_decoder_tokens))
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
                                     initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)

model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=batch_size,
          epochs=epochs,
          validation_split=0.2)
model.save('modelname.h5')

# ...from here different python file for inference...

encoder = LSTM(latent_dim, return_state=True)
model = load_model('modelname.h5')
encoder_model = Model(model.output, encoder(model.output)) # I get the error here

И что я хотел бы сделать здесь:

encoder_inputs = Input(shape=(None, 1949))
encoder = LSTM(2048, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
encoder_states = [state_h, state_c]
encoder_model = Model(encoder_inputs, encoder_states)

Я был бы очень признателен, если бы кто-нибудь мог мне помочь.


python keras tensorflow lstm sequence-to-sequence
person namacha    schedule 01.03.2019    source источник
comment
Получаете ли вы предупреждение при сохранении вашей модели (если я правильно помню о нехешируемом значении и т. д.)?   -  person Eypros    schedule 01.03.2019
comment
Спасибо за комментарий. Он был сохранен без проблем, и я получаю сообщение об ошибке при объявлении encoder_model для вывода (я добавил комментарий в коде).   -  person namacha    schedule 01.03.2019
comment
Вы объявили модели кодировщика/декодера также, как указано в ссылке?   -  person Eypros    schedule 01.03.2019
comment
Да, но я объявляю модель декодера после модели кодировщика, поэтому я не достиг модели декодера, потому что застрял с ошибкой в ​​объявлении кодировщика.   -  person namacha    schedule 01.03.2019
comment
Кажется, вы объявляете модель кодировщика/декодера только для вывода. Вы также должны объявить их для обучения. Вы сделали это?   -  person Eypros    schedule 01.03.2019
comment
Прошу прощения за отсутствие информации, но да, я объявил и кодировщик, и декодер для обучения и вывода. Структура векторов одинакова.   -  person namacha    schedule 01.03.2019

Ответы (1)


arrow_upward
0
arrow_downward

Взгляните на ответ Роберта Сима на этот пост в переполнении стека: Восстановить модель keras seq2seq

И на этот пост в github: https://github.com/keras-team/keras/pull/9119.

Он также приводит пример: https://github.com/simra/keras/blob/simra/s2srestore/examples/lstm_seq2seq_restore.py, где можно увидеть, как загружается модель. Следующий код был взят из этого примера.

# Restore the model and construct the encoder and decoder.
model = load_model('s2s.h5')

encoder_inputs = model.input[0]   # input_1
encoder_outputs, state_h_enc, state_c_enc = model.layers[2].output   # lstm_1
encoder_states = [state_h_enc, state_c_enc]
encoder_model = Model(encoder_inputs, encoder_states)

decoder_inputs = model.input[1]   # input_2
decoder_state_input_h = Input(shape=(latent_dim,), name='input_3')
decoder_state_input_c = Input(shape=(latent_dim,), name='input_4')
decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
decoder_lstm = model.layers[3]
decoder_outputs, state_h_dec, state_c_dec = decoder_lstm(
    decoder_inputs, initial_state=decoder_states_inputs)
decoder_states = [state_h_dec, state_c_dec]
decoder_dense = model.layers[4]
decoder_outputs = decoder_dense(decoder_outputs)
decoder_model = Model(
    [decoder_inputs] + decoder_states_inputs,
    [decoder_outputs] + decoder_states)
person kevin    schedule 04.06.2019