В 2017 году исследовательская работа под названием «Внимание — это все, что вам нужно» представила революционную архитектуру нейронной сети под названием «Трансформер», которая обеспечивает высочайшую производительность в задачах обработки естественного языка. Статья была опубликована группой исследователей из Google, в которую вошли Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Айдан Н. Гомес, Лукаш Кайзер и Илья Полосухин. До Transformer большинство архитектур..