Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
§5. Методы получения точечных оценок.
Постановка задачи: Пусть имеется некоторая выборка : x1, x2,…, xn,
X ~ Fθ(x) θ, где ̶ параметрическое пространство. Требуется построить оценку для θ или τ(θ).
Различаются два подхода к решению этой задачи в зависимости от понимания природы неизвестного параметра.
1 – ый подход реализуется в случае, когда θ является неизвестной постоянной, т.е. θ = const. В данной ситуации используется метод подстановки.
Суть метода: Выбирается некоторая мера расхождения теоретического и эмпирического распределения и строится некоторый функционал от этой меры. Оценка для неизвестного параметра ищется таким образом, чтобы этот функционал принимал некоторое значение, соответствующее минимуму расхождения теоретических и практических результатов.
Метод подстановки объединяет ряд конкретных методов, которые различаются по мере различия теории и практики:
1. Метод моментов (ММ).
2. Метод максимального правдоподобия (ММП).
3. Метод минимального .
4. Метод минимального расстояния.
Существуют и другие методы, но мы рассмотрим только первые, т.к. они используются наиболее часто.
2 − ой подход реализуется в случае, когда является случайной величиной, т.е . В данной ситуации используются Байесовские оценки.
Методы подстановки
Совокупность неизвестных параметров будем рассматривать как k−мерный вектор . Тогда оценки метода моментов (ОММ) являются решениями системы k уравнений, составленных путем приравнивания k теоретических моментов соответственно k эмпирическим.
Достоинством ММ является простота его применения.
Недостатком ММ является то, что он не гарантирует качества оценок, хотя часто оценки, полученные этим методом являются «удачными».
Пример 1.
С.в. . Найти ОММ – для неизвестного параметра .
Решение.
Пример 2.
С.в. , тогда , где . Найти ОММ для .
Решение.
Пример 3.
С.в. . Найти ОММ для (m−известно).
Решение.
, следовательно, .
Пример 4.
С.в. . Найти ОММ для .
Решение.
, тогда ОММ .
2. Метод максимального правдоподобия (ММП)
Оценка максимального правдоподобия (ОМП) выбирается таким образом, чтобы функция правдоподобия принимала наибольшее значение.
Различается два случая нахождения ОМП: регулярный и нерегулярный.
Регулярный случай.
Имеем следующие условия регулярности:
1. дифференцируемость L по ;
2. множество не зависит от неизвестного параметра .
Условие регулярности обеспечивает достижение максимума функции L(x), поэтому в регулярном случае ОМП ищется из следующей системы уравнений (УМП):
или из системы уравнений ,
т.к. функции L и ln L достигают максимума в тех же точках.
Пример 5.
С.в. . Найти ОМП для .
Решение.
, тогда .
; .
Решим УМП и получим, что .
В данном случае получили, что ОМП совпадает с ОММ.
Очевидно, что вычисления ММП значительно сложнее, чем ММ, но ММП теоретически обосновывает гарантии качества оценок.
Теорема 1.
Если существует НОМД для , то в регулярном случае она является ОМП для .
Доказательство.
Используем критерий НОМД: , где t(x) – НОМД для . Тогда, если , то t(x) – ОМП для .
Пример 6 для функции от неизвестного параметра , для которой не существует НОМД, а ОМП существует.
Пусть с.в. . Найдем ОМП для .
, тогда ;
Найдем ОМП из УМП
, откуда следует, что . Тогда ОМП.
Воспользуемся критерием НОМД:
, следовательно, по критерию НОМД имеем − НОМД для , тогда для НОМД не существует.
По данной теореме, если НОМД для существует, то ОМП совпадает с ней. Это и является гарантией качества ОМП.
Теорема 2.
Все решения УМП (в регулярном случае), т.е. ОМП являются функциями достаточной статистики.
, тогда ,
следовательно, . Полученное УМП принимает вид: , т.к. не зависит от
в силу того, что − достаточная статистика; следовательно, .
Решение уравнения будет находиться в терминах достаточной статистики, что и означает выполнение утверждения теоремы.
Теорема 3. Инвариантность ОМП.
Если параметры и связаны непрерывной взаимно-однозначной зависимостью и − ОМП для , то − ОМП для .
Доказательство.
Пусть − плотность распределения изучаемой с.в. Х. Тогда в некоторой окрестности точки ; следовательно, т.к . φ непрерывна, . Это неравенство означает утверждение теоремы в силу характера зависимости φ , т.е. в некоторой окрестности и является ОМП для .
Замечание 1. Если задача состоит в построении ОМП для некоторой , и удовлетворяет условиям теоремы 3, то она сводится к более простой нахождению − ОМП для , тогда есть ОМП для .
Замечание 2. (без доказательства) При достаточно общих условиях ОМП состоятельны асимптотически нормальны и асимптотически эффективны при .
Особый интерес представляет нахождение ОМП в нерегулярном случае: ОМП находится из смысла метода (ММП), т.е. как значение, при котором функция правдоподобия принимает наибольшие значения.
Пример 7.
С.в. Найти ОМП для , т.е. .
С. в.
Очевидно, что max L = 1, но
Точек на отрезке для бесконечно много, следовательно, значений бесконечно много. Остается только один вопрос: существует ли такой отрезок?
Из выражения для L имеем: , значит , т.е. отрезок существует.
Найти ОММ для α и λ .
Поделим (2) на (1), возведенное в квадрат. Получаем
Пример 10.
С.в. α – известно, m – не известно. Найти ОМП для параметра m.
Решение.
Вычислим функцию правдоподобия:
ОМП =
ОММ:
Байесовские оценки (решения)
Под решением здесь понимается выбор оценки неизвестного параметра распределения θ = (θ1, ... , θK).
Чтобы функцию выбрать наилучшим образом, нужно сравнить последствия использования различных функций . Для этого задается функция потерь W(θ,d) , значение которой определяется выбранным решением, если с.в. X имеет функцию распределения с неизвестным параметром θ . Тогда при многократном применении (при повторении опыта) определяются средние потери EW(θ,d)=R(θ,d), называемые функцией риска.
Цель состоит в выборе решающей функции , минимизирующей функцию риска L(θ,d).
Байесовский подход отличается от небайесовского тем, что неизвестный параметр θ считается не фиксированной постоянной, а с.в. с известным рас пределением априорным распределением.
После завершения наблюдений над с.в. X из априорного распределения неизвестного параметра можно получить его апостериорные распре деление , и выбор байесовского решения естественно связывать с ожидаемыми потерями при этом апостериорном распределении .
Доказано, что при байесовском подходе минимальные средние потери (риск) по всем возможным значениям параметра θ и всем реализациям с.в. X достигается при той же решающей функции , при которой получаются мини мальные средние потери при апостериорном распределении параметра θ.
Апостериорный риск вычисляется по формуле:
. (2)
Здесь ; − плотность распределения с.в. Х в непрерывном случае при Х = хj.
(3)
Формула (2) – формула Байеса, а (3) – формула полной вероятности.
|
θ |
1/4 |
1/2 |
|
З |
1/3 |
1/3 |
,
а функция потерь задается таблицей:
d1 |
d2 |
|
θ1=1/4 |
1 |
4 |
θ2=1/2 |
3 |
2 |
По (3) , а
по условию задачи, откуда получаем
Аналогично
есть гамма−распределение с плотностью .
Байесовскую оценку для θ находим, минимизируя апостериорный риск по t .
.
Берем производную по t и приравниваем ее к нулю. Получаем , откуда
, где интегралы и аналогично преобразуются, как было показано выше, выражаются через гамма−функцию, и могут быть досчитаны самостоятельно.
б) Дана выборка Найдем сначала апостериорное распределение .
Аналогично случаю а) получаем байесовскую оценку в виде:
и вычисляется аналогично случаю а) и может быть получен самостоятельно.
§6. Доверительное оценивание.
Постановка задачи.
− выборка объёма n наблюдений над случайной величиной Х, распределение которой относится к параметрическому семейству Fθ (х), где θ = (θ1,…, θк) и θ Θ (Θ − параметрическое множество). Требуется оценить некоторую функцию τ = τ(θ). Доверительное оценивание τ означает нахождение k −мерной области, заключающей неизвестное значение функции τ с заданной доверительной вероятностью γ. Подробнее остановимся на рассмотрении случая k = 1 и τ(θ) = θ . Тогда искомое доверительное множество становится доверительным интервалом, и задача состоит в построении двух статистик t1 = t1() и t2 = t2 () (концов доверительного интервала J = (t1,t2) заключающего в себе неизвестное значение параметра θ с заданной доверительной вероятностью
γ: γ = P (t1<θ<t2) .
При доверительном оценивании заданное значение γ (обычно близкое к единице) означает надёжность оценивания τ(θ) с точностью, определяемую размером доверительной области. При построении доверительного интервала для параметра θ его длина ̶ точность оценивания, а γ ̶ заданная надежность. Поэтому желательно строить кратчайший доверительный интервал, соответствующий наибольшей точности при данном γ .
Общий приём при нахождении доверительного интервала состоит в построении центральной статистики (ц.с.) Z = Z(θ) , т.е. такой статистики, распределение которой не зависит от неизвестного параметра θ. Если Z(θ) непрерывна и монотонна по θ , то это обеспечивает однозначную эквивалентность событий {t1* < Z < t2*} и {t1 < θ <t2}. Тогда, если удалось найти t1* = t1*(θ) и t2* = t2*(θ) − нижнюю и верхнюю доверительные границы, то решая неравенство t1* < Z < t2* относительно θ находим значения t1 и t2 − искомые границы доверительного интервала для неизвестного параметра θ.
Остаётся обсудить две проблемы: построение центральной статистики Z = Z(θ) и нахождение значений t1* и t2* из уравнения:
γ = P(t1* < Z < t2*) . (1)
Начнём с первой проблемы. Идеями построения ц.с. могут быть следующие:
1) замена исходной с.в. на новую, зависящую от неизвестного параметра θ , распределение которой не зависит от θ;
2) стандартизация имеющейся точечной оценки;
3) использование результатов ЦПТ или асимптотической нормальности ОМП (для построения асимптотических доверительных интервалов).
Вторая проблема состоит в нахождении значений t1* и t2* из уравнения (1). Требуется сформулировать дополнительное ограничение на t1* и t2* , чтобы это было возможно, т.е. чтобы уменьшить число неизвестных в уравнении (1) с двух до одной.
При решении этой проблемы различают, обычно, два случая: регулярный и нерегулярный (раньше определён регулярный случай требованиями дифференцируемости функции правдоподобия L и независимости области, в которой L0 , от неизвестного параметра θ ).
Регулярный случай. Строят центральный доверительный интервал (ц.д.и.). Определим ц.д.и. Пусть − кривая распределения неизвестного параметра θ :
Тогда J = (t1,t2) − ц.д.и., если площади S1 и S3 одинаковы.
Определим хр – p − квантиль распределения F(x) если хр − корень уравнения F(x) = p.
Теперь выразим значения t1 и t2 в терминах квантилит распределения параметра θ с функцией распределения G(θ) : S1+S2+S3=1 .
Пусть S2 = γ, тогда
откуда следует, что − квантиль, а − квантиль распределения. Значит ц.д.и. ̶ интервал между и ̶ квантилями распределения G(θ). Таким образом, требование построения ц.д.и. и есть необходимое дополнительное требование в уравнении (1).
Нерегулярный случай. В качестве искомого доверительного интервала в уравнении (1) выбирают крайнюю зону значений неизвестного параметра. Тогда число неизвестных в уравнении (1) уменьшается до одного.
Примеры построения точных доверительных интервалов (д.и.).
1. С.в. X ~ R[2θ−1, 3θ+4]. Построить д.и. с уровнем доверия для неизвестного параметра θ.
Решение.
Введем новую случайную величину (с.в.) Y = X−2θ+1, тогда с.в. Y ~ R[0,θ+5] = R[0, θ *], где θ = θ +5. Построим д.и. с доверительным уровнем для параметра θ.
Обозначим с.в. Z = Y(n)/ θ *, тогда Fz (Y) = P{Y(n) < θ *y}=y̶ это функция распределения максимума выборки n равномерно распределенных на [0,1] значений y1,…,yn. Распределение с.в. Z не зависит от θ, поэтому Z – ц.с.:
или с вероятностью выполнены неравенства:
то есть .
Требуемый интервал (t1, t2) для θ построен:
2. С.в. X ~ E(a θ +b). Построить д.и. для неизвестного параметра θ с уровнем доверия , где a и b ̶ const, a ˃ 0.
Решение.
Обозначим θ * = a θ +b и построим сначала д.и. для параметра θ с уровнем доверия .
X~E(θ*), F() = 1−exp{− θ *}, x ≥ 0,
Введем новую с.в. Y= θ *.
FY(x) = P{x(1)<x/ θ*} = F(1)(x/ θ*) = 1 ̶ exp{−nx} ̶ это функция распределения минимума выборки экспоненциально распределенных значений y1,…,yn с.в. Y~E(1), поэтому Y ̶ ц.с. и
Тогда
то есть требуемый интервал (t1 ,t2) для θ построен:
Рассмотрим приведенные выше идеи построения центральной статистики на примерах, и с их помощью нахождения доверительных интервалов для параметра θ.
3. Построить доверительный интервал для m: с.в. X~N (m; σ), где σ ̶ известный параметр, m ̶ неизвестно.
Построим статистику и найдем её распределение методом характеристических функций. С.в. X~N(m;σ)
центральная статистика
находим по таблице функции Лапласа. Тогда с заданной вероятностью γ должно выполняться неравенство:
искомый доверительный интервал
̶ центральный доверительный интервал. Если плотность распределения случайной величины X ~N (m,σ), то (смотри рисунок).
Числовые примеры.
а) С.в. X ~ N (m;σ=3) . Найти доверительный интервал J для неизвестного параметра m c доверительной вероятностью γ = 0,95.
Решение.
находим по таблице функции Лапласа из условия
Например, при имеем J = (3,02; 4,98).
б) В предыдущей задаче найти минимальный объем выборки n , при котором с заданной точностью δ = 0,98 и надежностью γ = 0,95 можно оценить параметр m.
Решение.
Примеры построения асимптотических доверительных интервалов J для неизвестного параметра θ с уровнем доверия γ по выборке: x1,x2,…,xn, где n − объём выборки, для следующих распределений:
Решение.
Рассмотрим статистику
− центральная статистика
значение tγ находим по таблице функции Лапласа. Тогда с заданной вероятностью γ должно выполняться неравенство:
Решая неравенство относительно θ , получим искомый доверительный интервал J = (θ1,θ2) , где θ1 и θ2 корни уравнения f(θ)=0.
Решение. Рассмотрим статистику
тогда
центральная статистика где значение находят по таблице функции Лапласа*.
(было показано раньше)
Тогда с заданной вероятностью γ должно выполняться неравенство:
*Табличная функция Лапласа
Отсюда находят искомый доверительный интервал J = (θ1, θ2), где θ1 и θ2 − корни уравнения
Покажем, что случайная величина ̶ центральная статистика. Известно, что случайная величина имеет распределение Стьюдента с плотностью
− четная табличная функция, где с.в. Z ~ N(0,1), с.в. V ~ . Покажем, что случайная величина Т распределена по Стьюденту, а значит является центральной статистикой.
Действительно, а
распределение Стьюдента. Тогда где находится по таблицам Sn−1(t) Sn−1(t) − четная функция
Поэтому ̶ искомый доверительный интервал.
Числовой пример.
(2,5; 2; −2,3; 1,9; −2,1; 2,4; 2,3; −2,5; 1,5; 1,7); n=10;
n−1=9; γ=0,95; tγ=2,26
Известно, что статистика где имеет
распределение с плотностью
(это табличная функция).
Построим новую случайную величину где . Найдём плотность распределения случайной величины Y: g(y).
Определение. Y=φ(x); f(x) − плотность распределения случайной величины Х; g(y) − плотность распределения случайной величины Y. φ (х) − монотонная функция; x= ()
Воспользуемся формулой (): y== φ();
̶ это табличная функция «хи» − χ.
По данному γ ищем доверительный интервал J для σ из условия:
, где .
а) При q < 1 имеем
,
где;, так что.
По таблице распределения «хи» по γ и n находим q, a вычисляем по выборке .
б) При q >1
γ=P{ (1−q) < σ < (1+q)} = P{0< σ< (1+q)}, так как
так как γ=P{ σ< (1+q)}=
так что
В итоге получаем:
Числовые примеры.
X ~ N(m,σ), m − неизвестно. Найти J для σ.
Решение. По таблице распределения χ находим значение q=0,32 искомый д.и. J для σ есть
J={0,8}={0,544;1,056}
Решение. По таблице распределения χ находим значение q=1,8 (q>1) искомый д.и. для σ есть J={0;0,16(1+1,8)}={0;0,448}.
5. С.в. X~N(m, ) , − заданный уровень доверия. Найти Jδ и Jδ2 д.и. для δ и δ2 =DX в случаях:
а) ЕX=m – известно
б) ЕХ=m – неизвестно
Решение.
а) Построим статистику . Найдём распределение методом характеристических функций.
, где или
, где − плотность распределения ,
а значения и находятся по таблице из условий:
Тогда
б) Построим статистику . Известно, что с плотностью распределения γ − задано. Тогда из условий
и
находим по таблицам значения , откуда получаем
где а и имеют распределение «хи»− (табличное).
Числовой пример.
N=22;
(по таблицам )
Литература.
106
PAGE \* MERGEFORMAT 90
EMBED Equation.3
EMBED Equation.3