Метод максимальної правдоподібності

Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

Застосування

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

• лінійні моделі і узагальнені лінійні моделі;
• факторний аналіз;
• моделювання структурних рівнянь;
• багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
• дискретні моделі вибору.

Метод застосовується в широких областях науки, зокрема:

• системи зв'язку;
• психометрія;
• економетрика;
• оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах;
• моделювання в ядерній фізиці і фізиці елементарних частинок;
• обчислювальна філогенетика;
• моделювання каналів в транспортних мережах.

Визначення

Нехай маємо вибірку $X_{1},\ldots ,X_{n}$ з розподілу $\mathbb {P} _{\theta }$, де $\theta \in \Theta$ — невідомий параметр. Нехай $f(\mathbf {x} \mid \theta )\colon \Theta \to \mathbb {R}$ — функція правдоподібності, де $\mathbf {x} \in \mathbb {R}$. Точкова оцінка

${\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_{n})=\arg \max \limits _{\theta \in \Theta }f(X_{1},\ldots ,X_{n}\mid \theta )$

називається оцінкою максимальної правдоподібності параметра $\theta$. Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Зауваження

• Оскільки функція $x\to \ln x,\;x>0,$ монотонно зростає на всій області визначення, максимум будь-якої функції $f(\theta )$ є максимумом функції $\ln f(\theta )$, і навпаки. Таким чином,

${\hat {\theta }}_{\mathrm {M\Pi } }=\arg \max \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )$,

де $L$ — логарифмічна функція правдоподібності.

• Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

Приклади

• Нехай $X_{1},\ldots ,X_{n}\sim \mathrm {U} [0,\theta ]$ — незалежна вибірка з неперервного рівномірного розподілу на відрізку $[0,\theta ]$, де $\theta >0$ — невідомий параметр. Тоді функція правдоподібності має вигляд

$f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\mathbf {x} \in [0,\theta ]^{n}\subset \mathbb {R} ^{n}\\0,&\mathbf {x} \not \in [0,\theta ]^{n}.\end{array}}\right.$

Остання рівність може бути переписана у вигляді:

$f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1},\ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{array}}\right.,$

де $\mathbf {x} =(x_{1},\ldots ,x_{n})^{\top }$, звідки видно, що свого максимуму функція правдоподібності досягає в точці $\theta =\max(x_{1},\ldots ,x_{n})$. Таким чином

${\hat {\theta }}_{\mathrm {M\Pi } }=\max(X_{1},\ldots ,X_{n})$.

• Нехай $X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$ — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності $\left({\hat {\mu }}_{\mathrm {M\Pi } },{\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }\right)^{\top }$ для невідомого вектора параметрів $\left(\mu ,\sigma ^{2}\right)^{\top }$. Логарифмічна функція правдоподібності приймає вигляд

$L(\mathbf {x} \mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}$.

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

$\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2}}}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\\end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{i=1}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix}}\right.,$

звідки

${\hat {\mu }}_{\mathrm {M\Pi } }={\bar {X}}$ — вибіркове середнє, а

${\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }=S_{n}^{2}$ — вибіркова дисперсія.

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN 978-611-01-0277-3.
• Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN 9781852337810.
• Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN 0-521-40605-6.
• Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.