Метод максимального правдоподобия

Материал из Википедии — свободной энциклопедии

Ме́тод максима́льного правдоподо́бия в математической статистике - это метод оценивания неизвестного параметра путём максимизации функции правдоподобия.

Содержание

1 Определение
2 Замечание
3 Примеры
4 См. также

[править] Определение

Пусть есть выборка $X_1,\ldots,X_n$ из распределения $\mathbb{P}_{\theta}$ , где $\theta \in \Theta$ - неизвестный параметр. Пусть $f(\mathbf{x} \mid \theta):\Theta \to \mathbb{R}$ - функция правдоподобия, где $\mathbf{x} \in \mathbb{R}^n$ . Точечная оценка

$\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} f(X_1 ,\ldots, X_n \mid \theta )$

называется оце́нкой максима́льного правдоподо́бия параметра $θ$ . Таким образом оценка максимального правдоподобия - это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

[править] Замечание

Так как функция $x \to \ln x,\; x > 0$ монотонно возрастает на всей области определения, максимум любой функции $f (θ)$ является максимумом функции $ln f (θ)$ , и наоборот. Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta )$ ,

где $L$ - логарифмическая функция правдоподобия.

Оценка максимального правдоподобия, вообще говоря, может быть смещённой (см. примеры).

[править] Примеры

Пусть $X_1,\ldots, X_n \sim \mathrm{U}[0,\theta]$ - независимая выборка из непрерывного равномерного распределения на отрезке $[0,θ]$ , где $θ > 0$ - неизвестный параметр. Тогда функция правдоподобия имеет вид

$f(\mathbf{x} \mid \theta ) = \left\{ \begin{matrix} \frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\ 0, & \mathbf{x} \not\in [0,\theta]^n \end{matrix} \right..$

Последнее равенство может быть переписано в виде:

$f(\mathbf{x} \mid \theta ) = \left\{ \begin{matrix} \frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\ 0, & \theta < \max(x_1,\ldots,x_n) \end{matrix} \right.,$

где $\mathbf{x} = (x_1,\ldots,x_n)^{\top}$ , откуда видно, что своего максимума функция правдоподобия достигает в точке $\theta = \max(x_1,\ldots,x_n)$ . Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n)$ .

Пусть $X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2)$ - независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия $\left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top}$ для неизвестного вектора параметров $\left(\mu,\sigma^2\right)^{\top}$ . Логарифмическая функция правдоподобия принимает вид

$L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2$ .

Чтобы найти её максимум, приравняем к нулю частные производные:

$\left\{ \begin{matrix} \displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt] \displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\ \end{matrix} \right. \Rightarrow \left\{ \begin{matrix} \displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt] \displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2} = 0 \\ \end{matrix} \right.,$