Таким образом, чтобы сделать текст генерации намного лучше, не просто используйте ввод, но и дайте некоторый контекст. А сгенерированный текст можно адаптировать для различных приложений, таких как классификация и многое другое. Некоторые из приложений предназначены для проверки фактов и т. д.
И модель, которую они использовали, довольно интересная и необычная. Довольно сложная архитектура, но она дает превосходные результаты, а также открытый исходный код!
Мы можем генерировать текст с помощью маскированного токена, мы можем сделать это с помощью метода RNN или авторегрессивного метода. Идея этой статьи заключается в добавлении контекста, поэтому вместо последовательности мы также собираемся включать разные вещи, например документы.
Общий обзор того, как работает эта модель, некоторые слова из вики будут закодированы, а выходные данные также будут объединены с входными данными.
Используется архитектура предложения BERT.
Сиамская сеть, двухбашенная архитектура, идея в том, чтобы сравнивать разные документы. Очень интересный способ обучения модели НЛП, его можно применить и к зрению. (Я думаю, это для сравнения документа в масштабе.).
Учитывая предыдущие результаты, мы собираемся сгенерировать новые токены. (очень круто). Либо модель может начать предсказывать слово за словом, либо кодировать предложение в целом и начать предсказывать.
Они могут использовать свои исследования, используя предварительно обученные модели, предоставленные обниманием лица. И приложения для этой модели — открытые вопросы. (можно задавать любые вопросы).
А остальное видео — просто исследовательский флекс, как они стали SOTA. И будущее работает как использование более длинных последовательностей.
