Публикации по теме 'attention'


LambdaNetworks: эффективные и точные, но также доступные? Проект воспроизводимости с CIFAR-10
LambdaNetworks опережают внимание и CNN. Будет ли это работать с небольшими и низкоразмерными наборами данных? Мы представляем реализацию и результаты нашего воспроизведения LambdaNetworks, новой архитектуры машинного обучения, разработанной в Google Brain Ирваном Белло, с меньшим и более низкоразмерным набором данных CIFAR-10. Авторами этого проекта воспроизводимости являются Хосе Игнасио де Альвеар Карденас и Уэсли А.Дж.Г. de Vries , студенты магистратуры по аэрокосмической..
Нейронные сети с абстрактным вниманием
Внимание является одним из заслуживающих внимания достижений в исследованиях искусственного интеллекта. Вместо того, чтобы отправлять все «поле зрения» в нейронную сеть в качестве неопределенного ввода, внимание выделяет определенные области ввода для фокуса сети. Изображение городской улицы с буквами и цифрами, разбросанными по сцене, разбивается на небольшие подобласти, каждая из которых имеет свою букву или номер, требующий идентификации. Предложение на английском языке переводится на..
Трансформер: все, что вам нужно
Документ Transformer Внимание - это все, что вам нужно на момент написания этой статьи (14 августа 2019 г.) является неизменным документом №1 по Arxiv Sanity Preserver . Этот документ показал, что, используя только механизмы внимания, можно достичь самых современных результатов языкового перевода. Последующие модели, построенные на Transformer (например, BERT ), достигли отличной производительности в широком спектре задач обработки естественного языка. В этом посте я использую..
Нейронный машинный перевод и потребность в механизме внимания.
Содержание: 1. Введение Архитектура с двумя кодировщиками Архитектура 3-декодера 4-Стадия вывода 5-Проблема 6-Что такое внимание? 7-Внедрение различных типов механизмов внимания 8-Недостаток внимания 9-Ссылки 1. Введение: Последовательное обучение (Seq2Seq) - это все о моделях, которые принимают последовательность на входе и также выводят последовательность. Есть много примеров и применений этого, но сегодня я сосредоточусь на одном конкретном приложении, которое..
Трансформеры
Трансформеры Вы ошеломлены количеством моделей трансформаторов и не имеете ни малейшего представления о сходствах и различиях между ними? Что ж, вы пришли в нужное место. В этом рассказе дается обзор современных моделей трансформаторов и их взаимосвязи. Этот рассказ организован следующим образом. В разделе 1 я дам краткое введение в предмет. В разделе 2 я объясню несколько концепций машинного обучения, которые помогут вам лучше понять модель Transformer и ее варианты. В разделе 3..
Когнитивная инерция, программисты за работой и почему бесполезную информацию легче запомнить
Менеджеры, вам иногда кажется, что ваши разработчики вас обманывают? Они жалуются на собрания и на то, насколько они разрушительны. Затем они встречаются на 60-минутном обеде, наполненном мелочами о Вавилоне 5 — и вспоминают все это. Не-менеджеры, вы похожи на меня? Вы можете вспомнить множество мелочей о Вавилоне 5 за обедом, вернуться к своему коду и продолжать продуктивно работать, как будто ничего не произошло? Но какая-то встреча выматывает вас на Х*10 минут до и Х*30 минут после,..
Внимание в сквозном автоматическом распознавании речи
TL; ДР: В этом посте дается обзор того, как мы продвигаемся от традиционной системы ASR к системе с архитектурой кодировщика-декодера с вниманием. В нем также упоминаются некоторые недостатки традиционных архитектур и способы их преодоления с помощью архитектур Encoder-Attention-Decoder. Этот пост также дает небольшое введение в новую гибридную архитектуру CTC / Attention. Автоматическое распознавание речи. Целью исследований в области автоматического распознавания речи (ASR) является..