Публикации по теме 'fasttext'
Извлекательное суммирование с использованием кластеризации K-средних, роли векторов слов и fastText.
В наши дни с обилием цифровых СМИ и бесчисленным количеством новостей очень трудно переварить всю возможную информацию, и из-за этого читатель часто теряет интерес к определенным темам за очень короткий промежуток времени.
Следовательно, в наши дни очень важно генерировать краткие резюме или выделять статьи. Резюме имеет 2 разновидности: Извлекающее и Абстрактное резюме.
Абстрактные резюме, как правило, представляют собой суть полного текста в совершенно новой форме, а с другой..
Что, если бы ваш компьютер мог читать?
Сегодня мы можем печатать больше, чем говорить, огромное количество текстовых данных генерировалось каждую минуту с цифровой эры. Данные - новое масло (и даже более ценное для тех, кто умеет его смешивать). Однако человеческий мозг не умеет читать большие объемы текста. Наши глаза ограничены с двух сторон, что не позволяет нормальному человеку читать более 200–300 слов в минуту. Согласно Книге рекордов Гиннеса , Мария Тереза Кальдерон может читать более 50 000 слов в минуту: в 166..
Вопросы по теме 'fasttext'
Как распечатать отчет о классификации в FastText?
Я использую FastText и для оценки результатов моей классификации (двоичной классификации), и я хотел бы распечатать оценку соответствия. На самом деле в качестве вывода у меня есть точность и отзыв. Вот мой код:
train_file = 'train.csv'...
225 просмотров
schedule
14.09.2021
Учебный набор для автоматической настройки параметров Fasttext
Я использую код автоматической настройки для моделей классификации в библиотеке fasttext, и я не могу найти, обучена ли конечная модель, которую он дает вам, только на обучающем наборе или на обоих обучающих и проверочных наборах.
Например, когда,...
32 просмотров
schedule
08.11.2021
Воспроизведение FastText - это 'nan', но точность - это число
Я обучил контролируемую модель в FastText, используя интерфейс Python, и получаю странные результаты по точности и отзыву.
Сначала я обучил модель:
model = fasttext.train_supervised("train.txt", wordNgrams=3, epoch=100,...
801 просмотров
schedule
01.02.2022
Понимание get_sentence_vector () и get_word_vector () для fasttext
Я хочу получить вложения пары слов или фраз и вычислить сходство.
Я заметил, что сходство остается таким же, когда я переключаюсь между get_sentence_vector () и get_word_vector () для слова. Например, я могу переключить метод при вычислении...
851 просмотров
schedule
18.03.2022
Обертка Python arround fasttext train с настройкой параметров
Я использую Fasttext для классификации токсичных комментариев (конкурс Kaggle). Чтобы обучить мою модель, я запускаю команду
fasttext supervised -input model_train.train -output model_tune -autotune-validation model_train.valid...
197 просмотров
schedule
04.04.2022
подобие предобученных предложений fasttext
Я хочу использовать предварительно обученные модели fasttext для вычисления сходства предложения между набором предложений. Может кто-нибудь мне помочь? какой подход лучше?
Я вычислил сходство между предложениями, обучив tfidf-модели. напишите...
3635 просмотров
schedule
08.04.2022
Каков формат ввода fastText и почему моя модель не дает мне значимого аналогичного вывода?
Моя цель - найти сходство между словом и документом. Например, я хочу найти сходство между новым и документом, для простоты скажем Hello World !.
Я использовал word2vec от gensim, но проблема в том, что он не находит сходства с невидимым словом....
313 просмотров
schedule
08.04.2022
Как подготовить данные для word2vec в gensim и fasttext?
Я хочу обучить word2vec и fasttext, чтобы получить векторы для определенного набора данных, который у меня есть.
Что моя модель должна использовать в качестве входных данных?
Мой файл такой:
Customer_4: I want to book a ticket to New York....
451 просмотров
schedule
22.04.2022
Как заставить 2 версии оболочки Fasttext Python работать вместе?
Некоторое время мы использовали потрясающую библиотеку Facebook Fasttext. Мы получаем доступ к обученным моделям с помощью оболочки python ( https://pypi.org/project/fasttext/ ). Раньше это была сторонняя библиотека, но теперь поддерживается...
236 просмотров
schedule
13.08.2022
Предварительно обученная модель Fasttext возвращает тарабарщину для слов вне словарного запаса
У меня возникла проблема при использовании предварительно обученной модели fasttext.bin (полученной из https://fasttext.cc/docs/en/crawl-vectors.html ). Проверка most_similar на наличие слов в словаре дает разумные ответы. Однако при проверке...
286 просмотров
schedule
01.09.2022
Процесс завершен с кодом выхода -1073740791 (0xC0000409) ошибка pycharm
Я пытаюсь использовать fastText с PyCharm. Всякий раз, когда я запускаю код ниже:
import fastText
model=fastText.train_unsupervised("data_parsed.txt")
model.save_model("model")
Процесс завершается с этой ошибкой:
Process finished...
17483 просмотров
schedule
16.09.2022
Размер окна FastText
В настоящее время я работаю над неконтролируемым обучением fastText. Я хотел уточнить кое-что о контекстном окне, представленном в документации fastText.
В описании библиотеки fasttext для python...
21 просмотров
schedule
29.09.2022
ValueError: встраивание переменной уже существует, оно запрещено. Вы хотели установить reuse=True в VarScope? Первоначально определено
На основе этой ссылки github https://github.com/brightmart/text_classification/tree/master/a03_TextRNN Когда я запускаю train a03_TextRNN с google_news_wor22vec.bin и текстовым файлом с моими документами + ярлыками , у меня есть эти ошибки:...
944 просмотров
schedule
06.04.2023
Установите fasttext в Windows 10 с помощью Anaconda
Я пытаюсь установить fasttext в anaconda с Windows 10 с помощью команды: pip install fasttext, как описано здесь: https://pypi.org/project/fasttext/
Сообщения об ошибках:
ValueError: Unknown MS Compiler version 1900
а также
Command...
2698 просмотров
schedule
04.04.2023
Каковы значения по умолчанию для быстрого текста gensim?
Я не могу найти ничего о значениях по умолчанию для параметров для gensim fasttext здесь
Или они такие же, как и в оригинальной реализации Fasttext Facebook?
179 просмотров
schedule
11.02.2023
Представление Fasttext для короткой фразы, но не для более длинной фразы, содержащей короткую
Я использую Gensim для загрузки немецких .bin файлов из Fasttext , чтобы получить векторные представления для слов и фраз, не входящих в словарь. Пока все работает нормально, и в целом я достиг хороших результатов. Я знаком с KeyError :'all...
659 просмотров
schedule
18.03.2023
обучение моделей fasttext с контентом, созданным в социальных сетях
В настоящее время я изучаю классификацию текста с помощью Facebook FastText. Я нашел некоторые данные из Kaggle, которые содержат такие символы, как �� или имя пользователя и хэштеги Twitter. Я пытался искать в Интернете, однако нет разъяснений о...
42 просмотров
schedule
27.05.2023
В чем разница между args wordNgrams, minn и maxn в обучении с учителем fassttext?
Я немного сбит с толку после прочтения «Мешка уловок» для эффективной классификации текста. В чем разница между args wordNgrams , minn и maxn
Например, задача классификации текста и внедрение перчаток как предварительно обученных векторов....
160 просмотров
schedule
13.12.2022
Почему FastText не справляется с поиском фраз из нескольких слов?
Предварительно обученная модель FastText отлично подходит для поиска похожих слов:
from pyfasttext import FastText
model = FastText('cc.en.300.bin')
model.nearest_neighbors('dog', k=2000)
[('dogs', 0.8463464975357056),
('puppy',...
221 просмотров
schedule
15.01.2023
Как классифицировать естественные языки, написанные другими формами символов?
Фон
Я хотел бы классифицировать все три фразы как китайские, 'zh' используя fastText.
["Ni hao!", '你好!', 'ni hao!']
Однако обученная модель выглядит непригодной для семантической классификации.
Есть ли идея сделать одну и ту же...
87 просмотров
schedule
07.07.2023
