Классификатор логистической регрессии один против всех с Vowpal Wabbit

Я пытаюсь применить логистическую регрессию «один против всех», чтобы классифицировать редакционные статьи по тематическим категориям на основе их текста, используя vowpal wabbit. Когда я пытаюсь делать прогнозы для новых статей, используя те же данные, которые использовались для обучения, у меня плохие результаты, но я ожидал бы нереально хороших результатов из-за переобучения. В этом случае я действительно хочу переобучить, потому что хочу убедиться, что правильно использую vowpal wabbit.

Моя модель обучается на примерах, которые выглядят следующим образом, где каждая функция - это слово из статьи, а каждая метка - идентификатор категории, например спорт или развлечения: 1 | the baseball player ... stadium 4 | musicians played all ... crowd ... 2 | fish are an ... squid

Моя тренировочная команда выглядит так: vw --oaa=19 --loss_function=logistic --save_resume -d /tmp/train.vw -f /tmp/model.vw

Моя команда тестирования выглядит так: vw -t --probabilities --loss_function=logistic --link=logistic -d /tmp/test.vw -i /tmp/model.vw -p /tmp/predict.vw --raw_predictions=/tmp/predictions_raw.vw

Я использую --probabilities и --link=logistic, потому что хочу, чтобы мои результаты можно было интерпретировать как вероятность того, что статья принадлежит этому классу.

У меня очевидная проблема с размером моего набора данных (81 пример и 52000 функций), но я ожидал, что это приведет к серьезному переобучению, и, следовательно, любые прогнозы, сделанные для того же набора данных, что и обучающие данные, будут довольно хорошими. Я что-то делаю не так с моими командами vowpal wabbit? Я плохо понимаю науку о данных?

Вот результат команды обучения:

Num weight bits = 18
learning rate = 0.5
initial_t = 0
power_t = 0.5
using no cache
Reading datafile = /tmp/train.vw
num sources = 1
average  since         example        example  current  current  current
loss     last          counter         weight    label  predict features
1.000000 1.000000            1            1.0       15        1      451
1.000000 1.000000            2            2.0        8       15      296
1.000000 1.000000            4            4.0        8        7      333
0.875000 0.750000            8            8.0       15       15      429
0.500000 0.125000           16           16.0        8        7      305
0.531250 0.562500           32           32.0       12        8      117
0.500000 0.468750           64           64.0        3       15      117

finished run
number of examples per pass = 81
passes used = 1
weighted example sum = 81.000000
weighted label sum = 0.000000
average loss = 0.518519
total feature number = 52703

И для команды тестирования:

only testing
predictions = /tmp/predict.vw
raw predictions = /tmp/predictions_raw.vw
Num weight bits = 18
learning rate = 0.5
initial_t = 0
power_t = 0.5
using no cache
Reading datafile = /tmp/test.vw
num sources = 1
average  since         example        example  current  current  current
loss     last          counter         weight    label  predict features
1.000000 -0.015873            1            1.0 4294967295   3( 7%)      117
1.000000 1.000000            2            2.0 4294967295   3( 7%)       88
1.000000 1.000000            4            4.0 4294967295   3( 7%)      188
1.000000 1.000000            8            8.0 4294967295   9( 7%)     1175
1.000000 1.000000           16           16.0 4294967295   5( 7%)      883
1.000000 1.000000           32           32.0 4294967295   7( 7%)      229
1.000000 1.000000           64           64.0 4294967295  15( 7%)      304

finished run
number of examples per pass = 40
passes used = 2
weighted example sum = 81.000000
weighted label sum = 0.000000
average loss = 1.000000
average multiclass log loss = 999.000000
total feature number = 52703