Публикации по теме 'transformers'


Использование TensorFlow 2 для современной обработки естественного языка
Hugging Face - ведущий стартап в области НЛП, в котором более тысячи компаний используют свои библиотеки в производстве, включая Bing, Apple, Monzo. Все примеры, использованные в этом руководстве, доступны на Colab. Ссылки доступны в соответствующих разделах. Введение Hugging Face - это стартап, ориентированный на НЛП, с большим сообществом разработчиков ПО с открытым исходным кодом, в частности вокруг библиотеки Трансформеры . 🤗 / Transformers - это библиотека на основе..
Трансформаторы в химинформатике Часть-2
В Части-1 этой серии мы рассмотрели строительные блоки трансформаторного слоя, а именно. многоголовое внимание и точечная сеть прямой связи. Мы остановились, едва закончив полностью слой трансформатора. Обратите внимание, что мы используем термины блок и слой как синонимы. В этой части мы кратко рассмотрим другие движущиеся части слоя преобразователя, то есть нормализацию слоя и остаточное соединение. Поскольку эти концепции не новы для трансформатора, я буду кратко их..
Помимо ванильного трансформатора
Краткий обзор перспективных разработок современной архитектуры НЛП Сейчас 2017 год, и статья «Внимание - это все, что вам нужно» предлагает НЛП новую многообещающую архитектуру: Transformer. Четыре года спустя - вечность в области глубокого обучения - Transformer по-прежнему представляет собой ультрасовременную архитектуру и используется для различных задач НЛП. Но мир не стоял на месте - по крайней мере, не в этой области, и во многих других статьях был рассмотрен Transformer и..
Трансферное обучение - использование предварительно обученных моделей (читайте: BERT)
Бонус : используйте предварительно обученные модели Huggingface Transformers при отключенном Интернете Об этих предварительно обученных моделях было сказано много, но важные концепции, касающиеся передачи значения обучения и того, как мы можем его использовать, потребовали некоторого изучения. Например, если вы использовали tfhub версию BERT. Можно задаться вопросом, а что это за «обучаемый» в слое? Оказывается, есть три способа перенести обучение предварительно обученных моделей:..
Как Genify использовала модель Transformer для создания рекомендательной системы, превосходящей отраслевые тесты
Быстрое развитие искусственного интеллекта, а в последнее время и глубокого обучения, сопровождалось рядом многих прорывов в области информатики. Они оказали глубокое влияние как на академический, так и на деловой мир. В частности, современные методы глубокого обучения, примененные к ранее существовавшей концепции рекомендательных систем, породили новый, превосходный класс нейронных рекомендательных систем, которые теперь революционизируют сферу цифрового бизнеса. Начиная с основ, система..
Трансформеры
Трансформеры Вы ошеломлены количеством моделей трансформаторов и не имеете ни малейшего представления о сходствах и различиях между ними? Что ж, вы пришли в нужное место. В этом рассказе дается обзор современных моделей трансформаторов и их взаимосвязи. Этот рассказ организован следующим образом. В разделе 1 я дам краткое введение в предмет. В разделе 2 я объясню несколько концепций машинного обучения, которые помогут вам лучше понять модель Transformer и ее варианты. В разделе 3..
Как создавать истории о Гарри Поттере с помощью GPT-2
Узнайте, как создавать текст фанфики о Гарри Поттере с помощью GPT-2 - модели преобразователя генерации текста «Ты иногда немного пугаешься, ты это знаешь? Великолепно… но страшно ». - Рон Уизли Рон имел в виду Гермиону или GPT-2? В этой статье обсуждается, как реализовать доработанную версию GPT-2 для создания фанфиков о Гарри Поттере. Согласно его описанию , он был адаптирован к 100 самым рейтинговым историям фанфиков . Поэкспериментировав с ним, я обнаружил, что он..