Вопросы по теме 'huggingface-transformers'
Модель языка GPT-2: умножение вывода декодера-преобразователя на встраивание токенов или другую матрицу весов
Я читал код языковой модели GPT2. Преобразование скрытых состояний в распределение вероятностей по словарю выполнено в следующей строке:
lm_logits = self.lm_head(hidden_states)
Здесь,
self.lm_head = nn.Linear(config.n_embd,...
78 просмотров
schedule
03.11.2021
Использование LIME для визуализации трансформатора BERT приводит к ошибке памяти
Ситуация : в настоящее время я работаю над визуализацией результатов модели машинного обучения huggingface transformers, которую я создавал с помощью пакет LIME после это руководство .
Сложность : мой код настроен и работает нормально, пока я...
1499 просмотров
schedule
20.11.2021
SMOTE с несколькими входами для причалов
Я создаю модель классификации текста с несколькими классами, используя Кераса и Берта (HuggingFace), но у меня очень несбалансированный набор данных. Я использовал SMOTE из Sklearn, чтобы сгенерировать дополнительные образцы для классов с депрессией...
899 просмотров
schedule
03.10.2021
Зачем нам нужна функция init_weight в предварительно обученной модели BERT в Huggingface Transformers?
В коде трансформаторов Hugginface есть много моделей тонкой настройки, имеющих функцию init_weight . Например ( здесь ), наконец-то появилась init_weight функция.
class BertForSequenceClassification(BertPreTrainedModel):
def...
2452 просмотров
schedule
16.09.2021
Отсутствуют скрипты для точной настройки GPT-2 и вывода в Hugging-face GitHub?
Я слежу за документацией на веб-сайте обнимающего лица, там говорится, что для точной настройки GPT-2 я должен использовать скрипт run_lm_finetuning.py для точной настройки и скрипт run_generation.py для вывода. Однако на самом деле оба...
231 просмотров
schedule
17.09.2021
Как рассчитать потребность Берта в памяти?
Мне интересно узнать об использовании памяти трансформаторами. Я хотел бы использовать предварительно обученную модель для преобразования текста и сохранения вывода токена [CLS]. Никакого обучения, только умозаключение.
Мой вклад в bert составляет...
2074 просмотров
schedule
26.10.2021
Обучите модель с помощью трансформаторов XLNet из пакета huggingface
Я хочу включить предварительно обученный XLNet (или, возможно, другой современный преобразователь) в модель, чтобы настроить ее.
Однако это не работает, когда я включаю его со слоями keras.
import tensorflow as tf
from transformers import...
320 просмотров
schedule
11.09.2021
Как подготовить обучающий набор для тренера BERT в pytorch?
Задача состоит в том, чтобы определить, присутствует ли метка крови в текстовой последовательности, используя BERT для предварительно обученной модели классификации последовательностей.
class BloodDataset(Dataset):
"""MIMIC Blood...
346 просмотров
schedule
07.10.2021
Как получить скрытые состояния тонко настроенной модели TFBertModel?
Сначала я точно настраиваю модель Берта для задачи классификации текста, а затем я хочу получить вложения точно настроенной модели в TensorFlow. К сожалению, я могу сказать только output_hidden_states=True в первой строке, где я загружаю...
278 просмотров
schedule
10.09.2021
Маркировка последовательностей с помощью BERT
Я использую модель, состоящую из слоя встраивания и LSTM для выполнения маркировки последовательностей в pytorch + torchtext. Я уже обозначил предложения.
Если я использую самообучающиеся или другие предварительно обученные векторы встраивания...
1926 просмотров
schedule
25.12.2021
Запустите сложенную модель Pytorch на Colab TPU
Я пытаюсь запустить эту мою модель на многоядерном TPU Colab, но я действительно не знаю, как это сделать. Я пробовал этот учебный блокнот , но у меня возникла ошибка, и я не могу ее исправить, но я думаю, что, возможно, есть более простой способ...
232 просмотров
schedule
23.02.2022
Переводчики Huggingface MarianMT теряют контент, в зависимости от модели
Контекст
Я использую MarianMT von Huggingface через Python, чтобы переводить текст из источника на целевой язык.
Ожидаемое поведение
Я ввожу последовательность в модель MarianMT и получаю ее обратный перевод. Для этого я использую...
232 просмотров
schedule
22.02.2022
Обучайте BERT с помощью команд интерфейса командной строки
Я загрузил модель HuggingFace BERT из репозитория трансформаторов, найденного здесь , и хотел бы обучить модель на пользовательских NER подписывает ярлыки с помощью сценария run_ner.py, поскольку на него есть ссылка здесь в разделе Распознавание...
106 просмотров
schedule
27.02.2022
Тонкая настройка Huggingface Bert TPU работает на Colab, но не в GCP
Я пытаюсь настроить модель BERT трансформаторов Huggingface на TPU. Он работает в Colab, но не работает, когда я переключаюсь на платный TPU на GCP. Код записной книжки Jupyter выглядит следующим образом:
[1] model =...
1064 просмотров
schedule
10.03.2022
Быстрые и медленные токенизаторы дают разные результаты
Используя инструмент конвейера HuggingFace, я с удивлением обнаружил, что значительная разница в выводе при использовании быстрого и медленного токенизатора.
В частности, когда я запускаю конвейер маски заполнения, вероятности, присвоенные...
1314 просмотров
schedule
08.03.2022
Потери в обучении не уменьшаются для модели roberta-large, но отлично работают для roberta-base, bert-base-uncased.
У меня есть код молнии pytorch, который отлично работает для задачи двоичной классификации при использовании с bert-base-uncased или roberta-base, но не работает с roberta-large, т.е. потери в обучении не снижаются.
Я понятия не имею, почему это...
295 просмотров
schedule
27.03.2022
Объект BertEmbeddings не имеет атрибута bias при преобразовании контрольной точки tf
При попытке преобразовать контрольную точку самообученной модели BERT тензорного потока (с использованием create-pretraining.py из Google) в модель pytorch с помощью convert_bert_original_tf_checkpoint_to_pytorch.py из Huggingface.
Я...
709 просмотров
schedule
29.03.2022
Как разрезать строку в зависимости от длины токенов
Когда я использую (с длинным test_text и коротким вопросом):
from transformers import BertTokenizer
import torch
from transformers import BertForQuestionAnswering
tokenizer =...
894 просмотров
schedule
10.04.2022
Входные размеры кросс-энтропии Pytorch
Я пытаюсь разработать двоичный классификатор с помощью BertModel и Pytorch от Huggingface. Модуль классификатора выглядит примерно так:
class SSTClassifierModel(nn.Module):
def __init__(self, num_classes = 2, hidden_size = 768):...
773 просмотров
schedule
15.04.2022
Выводим внимание на причал-цоколь-без кожуха с обтягивающим лицом / трансформаторами (фонариком)
Я читал статью о лексической подстановке на основе BERT (в частности, пытаясь реализовать уравнение (2) - если бы кто-то уже реализовал всю статью, тоже было бы здорово). Таким образом, я хотел получить как последние скрытые слои (единственное, в...
3222 просмотров
schedule
01.05.2022
