Публикации по теме 'stochastic-process'
Итерация политики - простой пример
Итерация политик - это способ найти оптимальную политику для заданных состояний и действий.
Предположим, у нас есть политика (𝝅: S → A), которая назначает действие каждому состоянию. Действие 𝝅 (s) будет выбираться каждый раз, когда система находится в состоянии s.
Идея итерации политики
Оценить данную политику (например, инициализировать политику произвольно для всех состояний s ∊ S) путем вычисления функции ценности для всех состояний s S в рамках данной политики..
Вопросы по теме 'stochastic-process'
Стационарное распределение эргодической цепи Маркова: решение уравнений
Я пытаюсь решить систему уравнений, чтобы определить стационарное распределение эргодической матрицы Маркова.
А именно, матрица
P=[0 0 0 0.5 0 0.5;
0.1 0.1 0 0.4 0 0.4;
0 0.2 0.2 0.3 0 0.3;
0 0 0.3 0.5 0 0.2;
0...
4424 просмотров
schedule
06.10.2021
Моделируйте путь цепи Маркова 1000 раз
У меня есть следующий код для цепи Маркова:
simulation.mc=function(i0,P,n.sim){
S=1:nrow(P)
X=rep(0,n.sim)
X[1]=i0
for (n in 2:n.sim){
X[n]=sample(x=S,size=1,prob=P[X[n-1],])
}
return(X)
}
P=matrix(
c(
0,1/2,0,1/2,0,0,0,...
1358 просмотров
schedule
04.10.2021
смоделировать процесс возможного от другого пуассоновского процесса
Мне интересно, как смоделировать процесс Пуассона из другого с помощью случайной переменной Бернулли с параметром p .
Для моделирования первого пуассоновского процесса с параметром \lambda в интервале [0,t] обычно
pois = rpois(1, \lambda)...
82 просмотров
schedule
18.11.2021
Стохастическое моделирование Гиллеспи в дискретном времени с использованием R
Я моделирую стохастическое моделирование для эпидемиологии. Как мне смоделировать это в дискретном времени? Мне удалось получить непрерывное время, используя приведенную ниже кодировку.
library(GillespieSSA)
parms <-...
627 просмотров
schedule
07.04.2022
Переменный индекс столбца для данных GnuPlot
Я написал программу, которая генерирует N траекторий броуновского движения с шагом I~N(0,dt). Я проверяю их на условие W(1)>=1 && W(2)>=2. В качестве вывода я, конечно же, сохраняю данные о моменте времени в файле «Wiener_data.dat». Теперь точки,...
1094 просмотров
schedule
20.04.2022
Задача моделирования цепи Маркова методом Монте-Карло
Я пытаюсь запустить симулятор MC для цепи Маркова, которая равномерно распределена между всеми матрицами NxN, у которых нет соседних единиц. Мой алгоритм должен заполнить пространство состояний, запустив цепочку несколько раз. Однако где-то с моей...
1073 просмотров
schedule
16.06.2022
Стохастический градиентный спуск сходится слишком плавно
В рамках моей домашней работы меня попросили реализовать стохастический градиентный спуск, чтобы решить задачу линейной регрессии (хотя у меня всего 200 обучающих примеров). Моя проблема в том, что стохастический градиентный спуск сходится слишком...
429 просмотров
schedule
15.08.2022
Каково пространство состояний этой цепи Маркова?
Рассмотрим систему, в которой два человека сидят за столом и делят между собой три книги. В любой момент времени оба читают книгу, и одна книга остается на столе. Когда человек заканчивает читать свою текущую книгу, он меняет ее местами с книгой на...
180 просмотров
schedule
17.12.2022
Цикл для стохастических уравнений
Я хотел бы создать последовательность стохастических уравнений для 100 различных семян, используя следующее выражение:
set.seed(123)
N <- 100
T <- 1
x <- 10
theta <- c (0 , 5 , 3.5)
Dt <- 1 /N
Y <- numeric (N +1)
Y...
34 просмотров
schedule
06.02.2023
Измените код, чтобы получить синтетические данные, которые плавно переходят от бычьего к медвежьему рыночному циклу.
У меня есть этот класс, который генерирует синтетические данные (запасы), и он отлично работает. Однако я хочу изменить его так, чтобы NewPrice генерировал плавные данные тренда, скажем, для n-баров .
Я знаю, что если я уменьшу волатильность, я...
656 просмотров
schedule
30.05.2023
Почему скорость обучения для Q-обучения важна для стохастических сред?
Как указано в Википедии https://en.wikipedia.org/wiki/Q-learning#Learning_Rate , для стохастической задачи использование скорости обучения важно для сходимости. Хотя я пытался найти интуицию, стоящую за причиной без каких-либо математических...
81 просмотров
schedule
11.12.2022
Ручное моделирование процесса Пуассона в R
В следующей задаче нам предлагается сгенерировать процесс Пуассона шаг за шагом из ρ (время между приходами) и τ (время прибытия).
Один из теоретических результатов, представленных в лекциях, дает следующий прямой метод моделирования...
4382 просмотров
schedule
28.12.2023
