Вопросы по теме 'torchtext'
Маркировка последовательностей с помощью BERT
Я использую модель, состоящую из слоя встраивания и LSTM для выполнения маркировки последовательностей в pytorch + torchtext. Я уже обозначил предложения.
Если я использую самообучающиеся или другие предварительно обученные векторы встраивания...
1926 просмотров
schedule
25.12.2021
Модель Prunning не улучшает скорость вывода и не уменьшает размер модели
Я пытаюсь сократить свою модель в PyTorch с помощью torch.nn.utils.prune , который предоставляет 2 тензора,
один - исходный вес и
другой - маска, содержащая 0 и 1, которые помогают нам закрыть определенные соединения в сети.
Я пробовал...
1819 просмотров
schedule
16.03.2022
BucketIterator выдает объект «Поле», не имеющий атрибута «Vocab»
Это не новый вопрос, ссылки, которые я нашел без какого-либо решения, работали для меня first и секунду . Я новичок в PyTorch, столкнулся с AttributeError: 'Field' object has no attribute 'vocab' при создании пакетов текстовых данных в PyTorch...
5744 просмотров
schedule
05.08.2022
torchtext BucketIterator минимальное заполнение
Я пытаюсь использовать функцию BucketIterator.splits в torchtext для загрузки данных из CSV-файлов для использования в CNN. Все работает нормально, если у меня нет пакета, в котором самое длинное предложение короче, чем самый большой размер фильтра....
2090 просмотров
schedule
04.02.2023
Токенизатор не работает должным образом в torchtext
У меня возникла проблема в torchtext, и я долго с ней боролся. Я пытался токенизировать и оцифровать текст, используя torchtext и spacy. Я определил свой токенизатор следующим образом:
def Sp_Tokenizer(text):
return [tok.text for tok in...
713 просмотров
schedule
14.02.2023
Как избавиться от каждого столбца, заполненного нулями, из тензора Pytorch?
У меня есть тензор pytorch A , как показано ниже:
A =
tensor([[ 4, 3, 3, ..., 0, 0, 0],
[ 13, 4, 13, ..., 0, 0, 0],
[707, 707, 4, ..., 0, 0, 0],
...,
[ 7, 7, 7, ..., 0, 0,...
1592 просмотров
schedule
04.04.2023
Pytorch создает модель seq2seq MT, но как получить результаты перевода из выходного тензора?
Я пытаюсь реализовать свой собственный механизм MT, следуя инструкциям в https://github.com/bentrevett/pytorch-seq2seq/blob/master/1%20-%20Sequence%20to%20Sequence%20Learning%20with%20Neural%20Networks.ipynb
SRC = Field(tokenize=tokenize_en,...
43 просмотров
schedule
18.10.2022
AttributeError: модуль torchtext.datasets не имеет атрибута text_classification
agnews_train, agnews_test = torchtext.datasets.text_classification.DATASETS["AG_NEWS"](root="./datasets")
после запуска над строкой я получаю ошибку атрибута.
AttributeError Traceback (последний вызов последним) в ---- ›1...
35 просмотров
schedule
11.05.2023
batch_size не совпадает с torchtext BucketIterator
Я установил batch_size равным 64 , но когда я распечатываю train_batch и val_batch, размер не равен 64.
Данные поезда и данные val имеют следующий формат:
Сначала я определяю поля TEXT и LABEL .
tokenize = lambda x: x.split()
TEXT...
1156 просмотров
schedule
06.11.2023
Используйте предварительно обученное встраивание на испанском языке с помощью Torchtext
Я использую Torchtext в проекте НЛП. У меня есть предварительно обученное встраивание в мою систему, которое я хотел бы использовать. Поэтому я попробовал:
my_field.vocab.load_vectors(my_path)
Но, по-видимому, это почему-то принимает только...
2367 просмотров
schedule
09.05.2024