Каково пространство состояний этой цепи Маркова?

Рассмотрим систему, в которой два человека сидят за столом и делят между собой три книги. В любой момент времени оба читают книгу, и одна книга остается на столе. Когда человек заканчивает читать свою текущую книгу, он меняет ее местами с книгой на столе и начинает читать. Время чтения распределено экспоненциально, обозначим через bi,j среднее время, за которое человек i читает книгу j.

Let b = [1 2 4]
        [5 1 2]

Что такое пространство состояний этой цепи Маркова и как я могу построить матрицу скорости Q?

Я получил это упражнение из своих конспектов лекций и почему-то нахожу пространство состояний запутанным, поскольку это непрерывная цепь Маркова во времени.

Вот возможные состояния, о которых я мог подумать:

Человек i1 и i2, книги A, B, C

i1,A
i1,B
i1,C
i2,A
i2,B
i2,C

Но как я могу представить это графически? Я пытался, но у каждого пользователя есть отдельная цепь Маркова (приводимая), что я сомневаюсь в правильности. Я думаю, что оттуда построение матрицы ставок на основе ставок в матрице b должно быть в порядке.


stochastic-process markov-chains markov
person Undisputed007    schedule 20.12.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Это один из тех вопросов, которые, вероятно, лучше подходят для http://stats.stackexchange.com, даже если вы планируете написать код для решить эту проблему. Одна из причин заключается в том, что там у вас есть удобный математический режим, тогда как на SO его нет. Но в любом случае, я дам ответ здесь.

Когда вы хотите построить свою цепь Маркова, не имеет значения, будет ли это цепь с непрерывным временем или дискретной, поскольку они основаны на одной и той же концепции и связаны между собой формально простым переходом (точно так же, как разностное частное становится производная, когда длина становится бесконечно малой). Скорее важно, чтобы вы правильно поняли информационное содержание государства. Итак, нужно оценить, что здесь требуется, чтобы совершить переход.

Для этого предложенной вами переменной состояния недостаточно: она содержит только один ридер и ей не хватает времени. Очевидно, вам нужны оба читателя плюс их книги в переменной состояния. Но также нужно время, когда они начали, иначе бы вы не знали, когда они закончат книгу.

Итак, в итоге получается переменная состояния

S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})

Затем функцию перехода можно оценить, интегрируя экспоненциальное распределение от start_time до текущего времени t, что дает вероятность того, что читатель закончил чтение в момент времени t. Вам нужно сделать это для обоих читателей, но вы можете сделать это отдельно, так как они не влияют на время их чтения.

person davidhigh    schedule 20.12.2014