Публикации по теме 'transformers'


Пользовательские функции обратного вызова для трансформаторов
Как количественно оценить F1-Score при тонкой настройке предварительно обученных преобразователей для задач НЛП? Введение Поскольку Васвани и др. (2017) опубликовал статью Внимание — это все, что вам нужно », Трансформеры доминируют в последних достижениях в области обработки естественного языка (НЛП), где точная настройка предварительно обученных языковых моделей для последующих задач НЛП стала довольно популярной. . Если вы не знакомы с трансформерами, эта статья и эта..
Знакомство с трансформерами и Hugging Face
Использование силы НЛП с помощью нисходящего подхода В то время как большинство индоктринаций машинного обучения начинаются с простой проблемы компьютерного зрения или табличных данных (к настоящему времени мы все знакомы с MNIST и наборами данных радужной оболочки глаза), последние разработки в области глубокого обучения привели к смещению акцента на проблемы, основанные на естественном языке. Хотя это может показаться еще одним подмножеством приложений машинного обучения, я считаю,..
Тонкая настройка BERT с использованием TensorFlow
Большие предварительно обученные языковые модели на основе преобразователей (PLM) , такие как BERT и GPT, коренным образом изменили область обработки естественного языка (NLP). Существует сдвиг парадигмы, созданный PLM в области НЛП. Традиционные статистические подходы NLP (например, задачи классификации текста) часто разрабатывают созданные вручную функции и применяют модель машинного обучения, такую ​​как логистическая регрессия или машина опорных векторов, для изучения функции..
Изображение стоит 16x16 слов: трансформеры для распознавания изображений в масштабе
Это документ из исследования Google. Основная идея этой статьи состоит в том, Преобразователи, применяемые непосредственно к участкам изображения и предварительно обученные на больших наборах данных, очень хорошо работают с классификацией изображений. В этом посте мы подробно обсудим архитектуру Vision Transformers (ViT) и результаты, опубликованные в статье. Попробуйте реализации, использованные здесь, с помощью этого блокнота. Нажмите Open in Colab , чтобы запустить прямо в..
Инженер автоматической подсказки RLHF для стабильной диффузии 2
Анонс этой новой модели: https://huggingface.co/crumb/bloom-560m-RLHF-SD2-prompter-aesthetic . Давайте попросим ChatGPT дать краткое резюме. Можете ли вы дать мне описание этого кода? Этот код представляет собой цикл обучения с подкреплением, который обучает модель преобразователя генерировать текст, а затем использует этот текст для создания изображения со стабильным конвейером распространения. Затем отображаются сгенерированный текст и изображения, и пользователя просят..
«Революция в обработке естественного языка: архитектура преобразователя и «внимание — это…
В 2017 году исследовательская работа под названием «Внимание — это все, что вам нужно» представила революционную архитектуру нейронной сети под названием «Трансформер», которая обеспечивает высочайшую производительность в задачах обработки естественного языка. Статья была опубликована группой исследователей из Google, в которую вошли Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Айдан Н. Гомес, Лукаш Кайзер и Илья Полосухин. До Transformer большинство архитектур..
Анализ разговоров с помощью трансформеров
Пандемия Covid-19, охватившая весь мир, внесла соответствующие изменения в наше общество. Одним из них является возможность работать удаленно, оправдывая ожидания заинтересованных сторон, клиентов и инвесторов. По этой причине компании внедрили различное программное обеспечение для поддержания и улучшения коммуникаций. Такие программы, как Google Meet, Microsoft Teams и Slack, являются примерами технологий такого типа. Zeals — компания, в отделе разработки которой работает много..