о выводе lda

Я тоже очень мало знаю о МОЛОТОК, но в документации упоминается об этом ...

Вывод темы

--inferencer-filename [FILENAME] Создать инструмент вывода темы на основе текущей обученной модели. Используйте команду MALLET bin / mallet infer-themes --help, чтобы получить информацию об использовании вывода темы.

Обратите внимание, что вы должны убедиться, что новые данные совместимы с данными вашего обучения. Используйте параметр --use-pipe-from [MALLET TRAINING FILE] в команде MALLET bin / mallet import-file или import-dir, чтобы указать обучающий файл.

Может ты забыл это сделать? Мне действительно кажется, что данные, на которых вы тренируетесь, не в том же формате, что и данные, на которых вы тестируете.

У меня были те же трудности, что и у Маллета. Позже я обнаружил, что проблема в том, что документы нужно читать через Pipe, которая когда-то использовалась для чтения в учебных документах.

Вот образец для чтения в учебных документах:

ImportExample importerTrain = new ImportExample();//this is an example class in MALLET to import docs.   
InstanceList training= importer.readDirectory(new File(trainingDir));
training.save(new File(outputFile));

При чтении документов в выводе темы:

InstanceList training = InstanceList.load(new File(outputFile));
Pipe pipe = training.getPipe();
ImportExample importer = new ImportExample();
importer.pipe = pipe; //use the same pipe
InstanceList testing = importer.readDirectory(new File(testDir));

Я получил подсказку из одного вопроса, размещенного в их архиве: http://thread.gmane.org/gmane.comp.ai.mallet.devel/829

Раскрытие информации: я знаком с методами и математикой, обычно используемыми для вывода темы, но я мало знаком с MALLET.
Я надеюсь, что эти полуобразованные предположения приведут вас к решению. Без гарантии ;-)

Я предполагаю, что вы используете команду молотка hlda для обучения модели.
Несколько вещей, которые могли пойти не так:

• Убедитесь, что вы использовали параметр --keep-sequence на этапе импорта процесса. По умолчанию молоток сохраняет входные данные как простые мешки слов, теряя порядок, в котором слова были изначально найдены. Это может подойти для основных задач классификации, но не для тематического моделирования.
• Помните, что выборка Гиббса, используемая молотком, - это случайный процесс; ожидайте вариаций, особенно с небольшими выборками. Во время тестов вы можете указать одно и то же случайное начальное число для каждой последующей итерации.
• Каков размер ваших тренировочных данных? 20 тем кажутся много для начальных тестов, которые обычно основаны на небольших, вручную созданных и / или быстро собранных наборах для обучения и тестирования.
• помните, что вывод темы основан на последовательностях слов, а не на отдельных ключевых словах (в вашем описании созданного вручную тестового документа упоминаются «ключевые слова», а не «выражения» или «фразы» ")

Вот как я делаю вывод о распределении тем для новых документов с помощью MALLET. Я думал, что опубликую, так как я искал, как это сделать, и есть много ответов, но ни один из них не является исчерпывающим. Это также включает в себя этапы обучения, чтобы вы получили представление о том, как разные файлы соединяются друг с другом.

Создайте свои тренировочные данные:

$BIN_DIR/mallet import-file --input $DIRECTORY/data.input --output $DIRECTORY/data.mallet --keep-sequence --token-regex '\w+'

где data.input - это документ, содержащий идентификатор вашего файла, метку и последовательность токенов или идентификаторов токенов. Затем обучите вашу модель на этих данных с параметрами, которые вам нравятся. Например:

$BIN_DIR/mallet train-topics --input $DIRECTORY/data.mallet \
      --num-topics $TOPICS --output-state $DIRECTORY/topic-state.gz \
      --output-doc-topics $DIRECTORY/doc-topics.gz \
      --output-topic-keys $DIRECTORY/topic-words.gz --num-top-words 500 \
      --num-iterations 1000

Позже вы можете создать логический вывод, используя вашу обученную модель и обучающие данные:

bin/mallet train-topics --input $DIRECTORY/data.mallet --num-topics NUMBER --input-state $DIRECTORY/topic-state.gz --no-inference --inferencer-filename $DIRECTORY/inferencer-model

Теперь создайте файл для новых документов, используя конвейер из обучающих данных:

bin/mallet import-file --input $DIRECTORY/new_data.input --output $DIRECTORY/new_data.mallet --use-pipe-from $DIRECTORY/data.mallet --keep-sequence --token-regex '\w+'

Вывести темы по новым документам:

bin/mallet infer-topics --inferencer $DIRECTORY/inferencer-model --input $DIRECTORY/new_data.mallet --output-doc-topics $DIRECTORY/new_data_doc_topics --num-iterations 1000