Цепь Маркова

Материал из Википедии — свободной энциклопедии

Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова (старшего).

[править] Цепь Маркова с дискретным временем

[править] Определение

Последовательность дискретных случайных величин $\{X_n\}_{n \ge 0}$ называется цепью Маркова (с дискретным временем), если

$\mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n, X_{n-1} = i_{n-1},\ldots, X_0 = i_0) = \mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n)$ .

Образ случайных величин ${X n}$ называется простра́нством состоя́ний цепи, а номер $n$ — номером шага.

[править] Переходная матрица и однородные цепи

Матрица $P (n)$ , где

$P_{ij}{(n)} \equiv \mathbb{P}(X_{n+1} = j \mid X_n = i)$

называется ма́трицей перехо́дных вероя́тностей на $n$ -ом шаге, а вектор $\mathbf{p} = (p_1,p_2,\ldots)^{\top}$ , где

$p_i \equiv \mathbb{P}(X_0 = i)$

— нача́льным распределе́нием цепи Маркова.

Очевидно, матрица переходных вероятностей является стохастической, то есть

$\sum\limits_{j=1}^{\infty} P_{ij}(n) = 1, \quad \forall n \in \mathbb{N}$ .

Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть

$P_{ij}{(n)} = P_{ij},\quad \forall n \in \mathbb{N}$ .

В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.

[править] Конечномерные распределения и матрица перехода за n шагов

Из свойств условной вероятности и определения однородной цепи Маркова получаем:

$\mathbb{P}(X_{n} = i_{n} , \ldots, X_0 = i_0) = P_{i_{n-1},i_n} \cdots P_{i_0,i_1} p_{i_0}$ ,

откуда вытекает специальный случай уравнения Колмогорова — Чепмена:

$\mathbb{P}(X_n = i_n \mid X_0 = i_0) = (P^n)_{i_0,i_n}$ ,

то есть матрица переходных вероятностей за $n$ шагов однородной цепи Маркова есть $n$ -ая степень матрицы переходных вероятностей за $1$ шаг. Наконец,

$\mathbb{P}(X_n = i_n) = \left(P^n \mathbf{p}\right)_{i_n}$ .

[править] Классификация состояний цепи Маркова

[править] Примеры

Ветвящийся процесс;
Случайное блуждание;

[править] Цепь Маркова с непрерывным временем

[править] Определение

Семейство дискретных случайных величин $\{X_t\}_{t \ge 0}$ называется цепью Маркова (с непрерывным временем), если

$\mathbb{P}(X_{t+h} = x_{t+h} \mid X_s = x_s,\; 0 < s \le t ) = \mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t)$ .

Цепь Маркова с непрерывным временем называется однородной, если

$\mathbb{P}(X_{t+h} = x_{t+h} \mid X_t = x_t) = \mathbb{P}(X_{h} = x_{h} \mid X_0 = x_0)$ .

[править] Матрица переходных функций

Аналогично случаю дискретного времени конечномерные распределения однородной цепи Маркова с непрерывным временем полностью определены начальным распределением

$\mathbf{p} = (p_1,p_2,\ldots)^{\top},\; p_i = \mathbb{P}(X_0 = i),\quad i=1,2,\ldots$

и ма́трицей перехо́дных фу́нкций

$P_{ij}(h) = \mathbb{P}(X_h = j \mid X_0 = i)$ .

[править] Примеры

Это незавершённая статья по математике.
Вы можете помочь проекту, исправив и дополнив её.

Классификация состояний и цепей Маркова
Состояние: апериодическое \| возвратное \| достижимое \| невозвратное \| несущественное \| нулевое \| периодическое \| положительное \| сообщающееся \| существенное
Цепь: апериодическая \| возвратная \| невозвратная \| неразложимая \| нулевая \| периодическая \| положительная \| разложимая \| эргодическая

Категории: Незавершённые статьи по математике | Марковские процессы

Цепь Маркова

Материал из Википедии — свободной энциклопедии

Содержание

[править] Цепь Маркова с дискретным временем

[править] Определение

[править] Переходная матрица и однородные цепи

[править] Конечномерные распределения и матрица перехода за n шагов

[править] Классификация состояний цепи Маркова

[править] Примеры

[править] Цепь Маркова с непрерывным временем

[править] Определение

[править] Матрица переходных функций

[править] Примеры

Views

Навигация

Участие

Поиск

На других языках