Я реализовал модель, как описано в (Классификация текста с помощью Transformer) https://keras.io/examples/nlp/text_classification_with_transformer/ Я хотел бы получить доступ к значениям внимания для конкретного примера. Насколько я понимаю,...

Я новичок в механизмах внимания и хочу узнать о них больше, приведя несколько практических примеров. Я наткнулся на реализацию Keras для многоголового внимания, нашел ее на этом веб-сайте Pypi keras multi -голова . Я нашел два разных способа...

Я пытаюсь реализовать внимание, описанное в Luong et al. 2015 в PyTorch, но я не мог заставить его работать. Ниже мой код, меня пока интересует только «общий» случай внимания. Интересно, не упускаю ли я какой-нибудь очевидной ошибки. Он...

Я тренировал модель LSTM с помощью Keras и хотел добавить к ней внимание. Я новичок в Керасе и внимании. Из ссылки Как добавить механизм внимания в keras? I узнал, как я могу привлечь внимание к своему слою LSTM, и сделал такую ​​модель...

Я читал статью о лексической подстановке на основе BERT (в частности, пытаясь реализовать уравнение (2) - если бы кто-то уже реализовал всю статью, тоже было бы здорово). Таким образом, я хотел получить как последние скрытые слои (единственное, в...

Как именно рассчитывается эта позиционная кодировка? Предположим, что это сценарий машинного перевода, и это входные предложения, english_text = [this is good, this is bad] german_text = [das ist gut, das ist schlecht] Теперь размер нашего...

Я пытаюсь добавить механизм внимания к реализации составных LSTM https://github.com/salesforce/awd-lstm-lm Во всех онлайн-примерах используется архитектура кодировщика-декодера, которую я не хочу использовать (нужно ли это для механизма...

Насколько я понимаю, каждый блок кодировщика принимает выходные данные от предыдущего кодировщика, и что выходные данные являются обслуживаемым представлением (Z) последовательности (также известным как предложение). Мой вопрос в том, как последний...

Я работаю над проблемой машинного перевода. Я использую следующую модель: Model = Sequential([ Embedding(english_vocab_size, 256, input_length=english_max_len, mask_zero=True), LSTM(256, activation='relu'),...

Я изучаю несколько реализаций BiLSTM, основанного на самовнимании , и не понимаю, почему в каждой из них размер ввода и вывода различается. В частности, я имею в виду следующие коды, взятые из разных реализаций: Реализация 1 e 2 def...

Я действительно застрял в создании NN для классификации текста с keras , используя lstm и добавляя attention_layer сверху. Я уверен, что довольно близко, но я запутался: Нужно ли мне добавлять TimeDistributed плотный слой после LSTM?...

Я работаю над моделью внимания, и перед запуском окончательной модели я просматривал тензорные формы, которые проходят через код. У меня есть операция, в которой мне нужно изменить форму тензора. Тензор имеет форму torch.Size([[30, 8, 9, 64]]) ,...

Я следую этому руководству: http://nlp.seas.harvard.edu/2018/04/03/attention.html для реализации модели Transformer из статьи "Attention Is All You Need". Однако я получаю следующую ошибку: RuntimeError: «exp» не реализовано для torch.LongTensor....

Рекуррентные нейронные сети (RNN) с механизмом внимания обычно используются для машинного перевода и обработки естественного языка. В Python реализация RNN с механизмом внимания широко распространена в машинном переводе (например,...