Публикации по теме 'attention'


Введение во внимание
Почему и что Нашим самым большим источником замешательства была «письменность» семоногих. Похоже, что он вообще не писал; это больше походило на набор замысловатых графических дизайнов. Логограммы не были расположены рядами, спиралью или каким-либо линейным образом. Вместо этого Flapper или Raspberry писали предложение, склеивая столько логограмм, сколько нужно, в гигантское скопление. Эти строки из новеллы Теда Чанга «История вашей жизни» , возможно, дают хорошее..
Расшифровка измерений: изучение входных и выходных измерений в машинном переводе с помощью Seq2Seq…
Машинный перевод, задача автоматического перевода текста с одного языка на другой, значительно продвинулся в последние годы. Одним из широко распространенных подходов к машинному переводу является модель «последовательность к последовательности» (Seq2Seq) с механизмом внимания (и в настоящее время Transformer доминирует над всем). Эта архитектура продемонстрировала замечательную производительность при захвате контекстной информации исходного языка и создании плавных и точных переводов...
Быстрая интуиция, почему вам нужно только внимание? [P1]
Изучение роли кодировщика и декодера в Seq2Seq RNN с вниманием: краткие ключевые понятия Seq2seq RNN (рекуррентные нейронные сети) — это тип архитектуры, который используется для таких задач, как машинный перевод, языковое моделирование и суммирование текста. Они состоят из двух RNN: кодера и декодера. Кодер обрабатывает входную последовательность и создает вектор фиксированной длины, известный как вектор контекста, который суммирует ввод. Затем декодер обрабатывает этот вектор..
Решение проблемы с холодным фильмом с помощью встраивания BERT : система рекомендаций
Часть 1: Система рекомендаций: использование глубокого обучения Проблема холодного старта товара возникает, когда элементы, добавленные в каталог, либо не взаимодействуют друг с другом, либо взаимодействуют очень мало. Это представляет собой проблему в основном для алгоритмов совместной фильтрации из-за того, что они полагаются на взаимодействие элементов для выработки рекомендаций. Решение этой проблемы Я использую BERT Embeddings . Я встраиваю все фильмы жанров и сохраняю..
Трансформеры: революция в обработке естественного языка и анализе изображений
Использование ИИ для раскрытия возможностей НЛП и анализа изображений Развитие искусственного интеллекта (ИИ) и развитие глубокого обучения произвели революцию в том, как мы взаимодействуем с компьютерами. Алгоритмы машинного обучения позволяют компьютерам понимать и обрабатывать данные способами, которые раньше были невозможны. Обработка естественного языка (NLP) и анализ изображений — две области, в которых произошли значительные улучшения благодаря внедрению глубокого обучения...
Внимание в рекомендательных системах
Предварительная тренировка, часть 3: Самовнимание В моей последней статье Внимание в предтренинге я упомянул, что использовал механизм внимания в текущем проекте компании Yodo1, предоставляющей игровые услуги. Однако форма внимания, которую я объяснил в Предварительной части 2 , более проста, чем та, которую я в конечном итоге использовал для этого проекта. Форма, которую я использовал, называется самовниманием . Сегодня я объясню, почему я использовал эту форму внимания, и..
Самовнимание в компьютерном зрении
С момента появления Трансформаторных сетей механизм внимания в глубоком обучении пользуется большой популярностью как в сообществах машинного перевода, так и в сообществах НЛП. Однако в компьютерном зрении сверточные нейронные сети (CNN) по-прежнему являются нормой, и самовнимание только начало постепенно проникать в основную часть исследований, либо дополняя существующие архитектуры CNN, либо полностью заменяя их. В этом посте я постараюсь осветить последние достижения в области..