OverflowError, когда я пытаюсь использовать алгоритм итерации значений с mdptoolbox

Я установил простую MDP для платы, которая имеет 4 возможных состояния и 4 возможных действия. Настройка доски и награды выглядит следующим образом:

введите описание изображения здесь

Здесь S4 - состояние цели, а S2 - состояние поглощения. Я определил матрицы вероятности перехода и матрицу вознаграждения в коде, который я написал, чтобы получить функцию оптимального значения для этого MDP. Но когда я запускаю код, я получаю сообщение об ошибке: OverflowError: cannot convert float infinity to integer. Я не мог понять причину этого.

import mdptoolbox
import numpy as np

transitions = np.array([
    # action 1 (Right)
    [
        [0.1, 0.7, 0.1, 0.1],
        [0.3, 0.3, 0.3, 0.1],
        [0.1, 0.2, 0.2, 0.5],
        [0.1,  0.1,  0.1,  0.7]
    ],
    # action 2 (Down)
    [
        [0.1, 0.4, 0.4, 0.1],
        [0.3, 0.3, 0.3, 0.1],
        [0.4, 0.1, 0.4, 0.1],
        [0.1,  0.1,  0.1,  0.7]
    ],
    # action 3 (Left)
    [
        [0.4, 0.3, 0.2, 0.1],
        [0.2, 0.2, 0.4, 0.2],
        [0.5, 0.1, 0.3, 0.1],
        [0.1,  0.1,  0.1,  0.7]
    ],
    # action 4 (Top)
    [
        [0.1, 0.4, 0.4, 0.1],
        [0.3, 0.3, 0.3, 0.1],
        [0.4, 0.1, 0.4, 0.1],
        [0.1,  0.1,  0.1,  0.7]
    ]
])

rewards = np.array([
    [-1, -100, -1, 1],
    [-1, -100, -1, 1],
    [-1, -100, -1, 1],
    [1, 1, 1, 1]
])


vi = mdptoolbox.mdp.ValueIteration(transitions, rewards, discount=0.5)
vi.setVerbose()
vi.run()

print("Value function:")
print(vi.V)


print("Policy function")
print(vi.policy)

Если я изменю значение discount на 1 с 0.5, все будет нормально. В чем может быть причина того, что итерация значения не работает со значением скидки 0.5 или другими десятичными значениями?

Обновление: похоже, есть проблема с моей матрицей вознаграждений. Я не могу написать это так, как задумал. Потому что, если я изменю некоторые значения в матрице вознаграждения, ошибка исчезнет.


python dynamic-programming stochastic markov-chains mdptoolbox
person Suhail Gupta    schedule 21.11.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Итак, выяснилось, что матрица вознаграждений, которую я определил, была неправильной. Согласно матрице вознаграждения, определенной на рисунке выше, он должен иметь тип (S,A), как указано в документация, где каждая строка соответствует состоянию, начиная с S1 до S4, а каждый столбец соответствует действию, начиная с A1 до A4. Новая матрица вознаграждений выглядит следующим образом:

#(S,A)
rewards = np.array([
    [-1, -1, -1, -1],
    [-100, -100, -100, -100],
    [-1, -1, -1, -1],
    [1, 1, 1, 1]
])

Он отлично работает с этим. Но я до сих пор не уверен, что происходило внутри, что привело к ошибке переполнения.

person Suhail Gupta    schedule 22.11.2018