Вопросы по теме 'torchtext'

Маркировка последовательностей с помощью BERT
Я использую модель, состоящую из слоя встраивания и LSTM для выполнения маркировки последовательностей в pytorch + torchtext. Я уже обозначил предложения. Если я использую самообучающиеся или другие предварительно обученные векторы встраивания...
1926 просмотров

Модель Prunning не улучшает скорость вывода и не уменьшает размер модели
Я пытаюсь сократить свою модель в PyTorch с помощью torch.nn.utils.prune , который предоставляет 2 тензора, один - исходный вес и другой - маска, содержащая 0 и 1, которые помогают нам закрыть определенные соединения в сети. Я пробовал...
1819 просмотров

BucketIterator выдает объект «Поле», не имеющий атрибута «Vocab»
Это не новый вопрос, ссылки, которые я нашел без какого-либо решения, работали для меня first и секунду . Я новичок в PyTorch, столкнулся с AttributeError: 'Field' object has no attribute 'vocab' при создании пакетов текстовых данных в PyTorch...
5744 просмотров
schedule 05.08.2022

torchtext BucketIterator минимальное заполнение
Я пытаюсь использовать функцию BucketIterator.splits в torchtext для загрузки данных из CSV-файлов для использования в CNN. Все работает нормально, если у меня нет пакета, в котором самое длинное предложение короче, чем самый большой размер фильтра....
2090 просмотров
schedule 04.02.2023

Токенизатор не работает должным образом в torchtext
У меня возникла проблема в torchtext, и я долго с ней боролся. Я пытался токенизировать и оцифровать текст, используя torchtext и spacy. Я определил свой токенизатор следующим образом: def Sp_Tokenizer(text): return [tok.text for tok in...
713 просмотров
schedule 14.02.2023

Как избавиться от каждого столбца, заполненного нулями, из тензора Pytorch?
У меня есть тензор pytorch A , как показано ниже: A = tensor([[ 4, 3, 3, ..., 0, 0, 0], [ 13, 4, 13, ..., 0, 0, 0], [707, 707, 4, ..., 0, 0, 0], ..., [ 7, 7, 7, ..., 0, 0,...
1592 просмотров
schedule 04.04.2023

Pytorch создает модель seq2seq MT, но как получить результаты перевода из выходного тензора?
Я пытаюсь реализовать свой собственный механизм MT, следуя инструкциям в https://github.com/bentrevett/pytorch-seq2seq/blob/master/1%20-%20Sequence%20to%20Sequence%20Learning%20with%20Neural%20Networks.ipynb SRC = Field(tokenize=tokenize_en,...
43 просмотров
schedule 18.10.2022

AttributeError: модуль torchtext.datasets не имеет атрибута text_classification
agnews_train, agnews_test = torchtext.datasets.text_classification.DATASETS["AG_NEWS"](root="./datasets") после запуска над строкой я получаю ошибку атрибута. AttributeError Traceback (последний вызов последним) в ---- ›1...
35 просмотров
schedule 11.05.2023

batch_size не совпадает с torchtext BucketIterator
Я установил batch_size равным 64 , но когда я распечатываю train_batch и val_batch, размер не равен 64. Данные поезда и данные val имеют следующий формат: Сначала я определяю поля TEXT и LABEL . tokenize = lambda x: x.split() TEXT...
1156 просмотров
schedule 06.11.2023

Используйте предварительно обученное встраивание на испанском языке с помощью Torchtext
Я использую Torchtext в проекте НЛП. У меня есть предварительно обученное встраивание в мою систему, которое я хотел бы использовать. Поэтому я попробовал: my_field.vocab.load_vectors(my_path) Но, по-видимому, это почему-то принимает только...
2367 просмотров