Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
ГЛАВА 5
МЕТОДЫ ТЕОРИИ ОЦЕНИВАНИЯ В ЗАДАЧАХ ИДЕНТИФИКАЦИИ
5.1 Постановка задачи
Под оцениванием обычно понимают процесс определения подходящих, в определенном смысле, значений неизвестных параметров на основе имеющейся информации, связанной с процессом измерения других, доступных наблюдению параметров.
Оцениваемые параметры могут быть по своей природе как случайными, так и неслучайными. В силу случайности характера ошибок измерения доступных наблюдению параметров, эти параметры во всех случаях являются случайными величинами. Поскольку любая оценка является функцией от наблюдаемых величин, то она также является случайной.
Принято оценки, характеризующиеся числовыми значениями, называть точечными, а оценки, характеризующиеся принадлежностью параметра некоторому интервалу с заданной вероятностью - интервальными.
Оценки, являющиеся линейными комбинациями измерений, называются линейными, в противном случае - нелинейными.
5.2 Байесовские оценки
Пусть x - истинное значение оцениваемого параметра,
- оценка этого параметра, тогда ошибка оценивания определяется следующим образом:
(5.2.1)
За наличие ошибки оценивания вводится штраф, определяемый функцией потерь
,
которая должна обладать подходящими свойствами, а именно:
В основе теории байесовского оценивания лежит предположение о наиболее полном объеме априорной информации об оцениваемом векторе, а именно: если
х=[х, х, ..., хn]Т - вектор оцениваемых параметров,
v=[v, ..., vr]T - вектор ошибок измерения, то управление наблюдения имеет вид:
,
где - известное преобразование.
Тогда f(x) - априорная плотность распределения вероятности (ПРВ) оцениваемого параметра, характеризующая степень неопределенности его возможных значений, предполагается известной. Известна также условная плотность f(z/x) распределения вероятности вектора наблюдений.
Тогда для реализовавшегося значения оценки потери будут зависеть от истинного значения х, которое случайно и, следовательно, сама величина случайная. Средние возможные потери, которые связаны с выбором , можно получить усреднением величины по всем возможным значениям истинных значений х, имеющих распределение f(x), а именно:
(5.2.2)
Оценка, минимизирующая величину критерия (5.2.2), называется байесовской, соответствующей априорной вероятности f(x).
В выражении (5.2.2) отсутствуют явно результаты наблюдений, поэтому удобно перейти к другой форме средних потерь, содержащей эти наблюдения.
Пусть z* - фиксированный набор результатов наблюдений, тогда f(x/z*) - апостериорная плотность распределения вероятностей вектора х, связанная с появлением вектора z* , а величина
(5.2.3)
представляет собой средние условные потери, при условии, что z* - фиксировано. Усреднение величины (5.2.3) по множеству всех возможных результатов наблюдения z приводит к средним потерям, или байесовскому риску
(5.2.4)
Из выражения (5.2.4) следует в силу положительности f(z), что если оценка минимизирует средние условные потери при любом фиксированном значении z*, то она минимизирует и средние потери R, т.е.
(5.2.5)
Любую оценку , минимизирующую байесовский риск R, принято называть оптимальной оценкой в классе Q, соответствующей данной функции потерь. Важно отметить, что поскольку f(x/z) содержит всю информацию об оцениваемом векторе x, содержащуюся в наблюдаемом z, то характер оптимальных оценок будет зависеть как от вида функции потерь, так и от класса оценок Q (линейные, нелинейные и т.д.).
Наибольшее распространение получили следующие функции потерь:
Рис.5.2.1
Рис.5.2.2
Рис.5.2.3
Определим конкретный вид оценок для квадратичной функции потерь в классе всех возможных оценок, в том числе и нелинейных.
5.3 Оптимальная оценка для квадратичной функции потерь
Итак, пусть
,
где G –положительно определённая симметричная весовая матрица.
Тогда согласно (5.2.4) для средних потерь имеем
(5.3.1)
Согласно (5.2.5) имеем
(5.3.2)
Отсюда необходимое условие оптимальности имеет вид
(5.3.3)
где - символ градиента.
Равенство (5.3.3) можно используя формулу дифференцирования
,
переписать так
,
откуда получим выражение оптимальной квадратичной оценки
(5.3.4)
Выражение (5.3.4) представляет собой условное среднее значение оцениваемого параметра при фиксированной выборке или среднее значение апостериорного распределения.
Поскольку , то значение (5.3.4) доставляет минимум байесовскому риску.
Минимально возможное значение риска может быть получено подстановкой найденной оптимальной оценки (5.3.4) в выражение (5.3.1) для риска:
поскольку
,
где (5.3.5)
tr –след квадратной матрицы, равный сумме её элементов на главной диагонали.
Тогда для минимального значения риска, соответствующего оценке имеем
,
где - среднее условной ковариации по всем возможным реализациям наблюдений. Но известно, что
,
где - ковариация по z условного математического ожидания , отсюда окончательной выражение минимального риска
(5.3.6)
Рассмотрим важнейшие частные виды оценок для данной квадратичной функции потерь.
1 Класс линейных оценок
Пусть
- управление наблюдения,
где в общем случае нелинейная функция.
Оценка ищется в классе линейных преобразований в виде
,
где А –матрица искомого линейного преобразования,
путем непосредственной минимизации среднего риска, т.е.
Учитывая, что
и
Имеем
,
где
(5.3.7)
,
Решая уравнение
,
получим выражение для линейного преобразования оптимальной оценки
Таким образом, оптимальная линейная оценка по квадратичному критерию принимает вид:
, (5.3.8)
где
Из выражения (5.3.8) следует, что линейная оценка не зависит от конкретного вида распределений всех величин, а полностью определяется моментами первого и второго порядка.
Оценка (5.3.8) представляет собой ортогональную проекцию оцениваемого вектора х на оболочку, натянутую на вектор наблюдений z и носит название условного мат. ожидания в широком смысле:
.
Ошибка оценки, при этом ортогональна любому вектору, порождаемому управлением наблюдения (любому вектору оболочки), а именно:
(5.3.9)
Аналогично имеем:
, (5.3.10)
где , и
.
Условия ортогональности (5.3.9) и (5.3.10) можно записать в виде
и ,
поскольку
.
Ковариационная матрица вектора ошибки равна
(5.3.11)
или ,
где - ковариация оценки .
Минимальное значение среднего риска равно
,
то есть сумме дисперсий компонент вектора ошибки с весом G.
Замечание 1
Выясним геометрическую структуру линейного баесовского оценивания.
Пусть z, z,, …,zn –независимые случайные величины, представляющие собой результаты наблюдений, имеющие нулевые средние значения и ограниченные вторые, т.е.
Еzk=0,
0<Ezk<, (5.3.12)
k=(1,n)
Пусть Нn+1 –множество линейных комбинаций вида
(5.3.13)
Для любых элементов “u” и “v” в Нn+ определим скалярное произведение и норму по правилу
(u, v)=Euv, (5.3.14)
. (5.3.15)
Тогда
(u,v)=0 ,
если
E и v=0
Определение оптимальной линейной оценки сводится к отысканию ортогональной проекции величины х на множестве Нn , т.е. линейную оболочку результатов наблюдений
(5.3.16)
Так как
,
то средние потери равны
,
представляет собой среднеквадратичную ошибку. Коэффициенты , i=1,n определяются из условия минимума этой ошибки (рис.5.3.1), т.е.
Рис.5.3.1
(5.3.17)
Так как
,
то
, (5.3.18)
или
,
откуда
(5.3.19)
В итоге получим окончательное выражение для искомой оценки
Выражение (5.3.9) оптимальной линейной оценки является естественным обобщением формулы (5.3.20) для многомерного случая.
Замечание 2
В связи с тем, что для многомерного нормального распределения f(x, z) условное среднее равно
,
т.е. моменты ожидания в широком и узком (точном) смысле совпадают.
Следует, что линейная оценка в этом случае является оптимальной в классе всех возможных оценок, т.е. абсолютно наилучшей оценкой.
2 Класс нелинейных безинерционных преобразований
Оптимальная оценка отыскивается в классе нелинейных преобразований без памяти, т.е. в виде
,
где q –некоторая функция.
Апостериорное среднее
согласно (5.3.4) минимизирует средние потери
,
где ,
- искомая оценка.
Все априорные распределения f(x), f(v), f(z, x) предполагаются известными. Апостериорная ПРВ f(x/z) вычисляется по формуле Байеса:
,
где
,
поэтому получим выражение для искомой оценки в заданном классе преобразований:
, (5.3.22)
При аддитивных независимых ошибках измерений и скалярных измерениях , оптимальная оценка (5.3.13) имеет вид
, (5.3.23)
Рассмотрим содержательные примеры квадратичного байесовского оценивания для случая распространения линейной схемы наблюдений.
Пример 5.1
Пусть схема наблюдений является линейной, то есть
z=Hx+v, (5.3.24)
где x - (n x 1) –случайный вектор оцениваемых параметров;
v - (m x 1) - вектор ошибок наблюдений;
z - (m x 1) - вектор результатов наблюдения;
H - (m x n) - матрица наблюдения.
Пусть
~, v~,
где N –символ нормального распределения,
=Ех –математическое ожидание,
Rx=E{(x-Ex)(x-Ex)T} –ковариационная матрица
Поскольку вектор
распределен нормально, оптимальная квадратичная оценка в классе всех оценок является линейной и равна
, (5.3.25)
Ковариационные матрицы определяем прямыми вычислениями из уравнения наблюдения, используя известные факты связи ковариационных матриц при линейных преобразованиях: если два вектора x и y связаны линейным преобразованием с матрицей А, т.е.
y=Ax,
то имеем
.
Последовательно получим
Rxz=RxHT+Rxv
Rz=HRxHT+Rv+RvxHT+HRxv
,
,
или окончательно
(5.3.26)
Ковариационная матрица вектора ошибок равна:
(5.3.27)
Рассмотрим частные случаи, отвечающие различным практическим ситуациям.
(5.3.28)
и соответственно
(5.3.29)
Н=[1, 1, ..., 1]Т,
то есть оценивается скалярный параметр х:
x, vi - независимые величины.
Учитывая, что
и
(по лемме об обращении матриц
[A+BCD]-1=A-1-A-1B[DA-1B+C-1]DA-1)
Получим выражение для оценки :
(5.3.30)
Дисперсия ошибки оценки равна
(5.3.31)
- случай равноточных измерений, соответствующих случаю измерений однотипными приборами (дисперсии ошибок совпадают). Тогда из (5.3.30) и (5.3.31) получим:
(5.3.32)
(5.3.33)
Из выражений (5.3.32) и (5.3.33) следует, что свойства оценки соответствуют естественным физическим представлениям и
чувствительны к отношению сигнал/шум, т.е. к величине
Рассмотрим предельные случаи:
а) если , т.е. x –неслучайная величина, то ;
б) если , то - выборочное среднее;
в) если , т.е. зона распределения полезного сигнала много шире зоны распределения ошибок измерения, то .
5.4 Другие байесовские оценки.
Рассмотрим теперь оценки по максимуму апостериорной плотности вероятности (МАВ), отвечающие простой функции потерь (рис.5.3.1).
Согласно (5.2.4) выражение для среднего риска имеет вид:
(5.4.1)
Таким образом, минимизация среднего риска при малых эквивалентна максимизации внутреннего интеграла по .
Рис.5.4.1
Отсюда оптимальной оценкой будет то значение параметра, при котором апостериорная плотность максимальная (мода апостериорного распределения). Таким образом, задача оценивания по этому критерию сводится к отысканию глобального максимума функции f(x/z).
Необходимое условие extr имеет вид:
(5.4.2)
Или, что эквивалентно, в силу монотонности функции
(5.4.3)
Учитывая, что
,
получим
или
(5.4.4)
Или, учитывая, что
получим
(5.4.5)
Уравнения (5.4.4) и (5.4.5) называют уравнениями МАВ. Величина f(x) несет априорную информацию об оцениваемом векторе х. Если эта информация отсутствует, то для получения оценок необходимо оценить f(x), либо принять все её значения равновероятными во всей области изменения величины х. Тогда и решение задачи дает оценка, удовлетворяющая в силу (5.4.4) уравнению
(5.4.6)
Определим теперь последнюю оставшуюся оценку для критерия (5.2.5) при :
(5.4.7)
Из выражения (5.4.7) следует, что искомой оценкой является медиана апостериорного распределения f(x/z).
Пример 5.2:
Пусть
z = Hx + v,
где все исходные данные примера 5.1. Найдем байесовские оценки МАВ и медиану для рассмотренного ранее случая. Для этого необходимо найти апостериорную плотность f(x/z):
где ,
z~
так как
х~,
то
,
Аналогично
(5.4.7)
Или в развернутом виде
Из (5.4.7) следует выражение искомой оценки
(5.4.8)
Используя лемму об обращении
и
получим другое выражение для той же самой оценки
(5.4.9)
Ковариационная матрица вектора ошибок оказывается равной
.
Наряду с (5.4.8) и (5.4.9) оценка может быть также записана в виде:
.
Таким образом, нормальность апостериорного распределения, обусловленная нормальностью исходных распределений и линейностью схемы наблюдений, привела к инвариантности оптимальной байесовской оценки, к виду функции потерь. Этот факт не воспринимается неожиданным.
Оказывается, что при выполнении некоторых условий, квадратичная байесовская оценка остается оптимальной и для других функций потерь.
Пусть - симметричность относительно точки ,
, (5.4.10)
- симметрия апостериорной плотности относительно .
Тогда при выполнении этих условий оптимальная оценка совпадает с квадратичной оценкой
, (**)
причем при строгой выпуклости эта оценка единственная.
Если, кроме того,
(5.4.11)
даже при нарушении условия выпуклости оценка (**) остается оптимальной.
Рассмотрим полезный пример иного рода, связанный с нелинейными оценками.
Пример 5.3
Пусть
z=x+v,
где
v~
и
,
где
p+q=1,
- функция Дирака,
то есть решается задача оценки бинарного сигнала на фоне шума.
Оценка по квадратичному критерию согласно (5.3.23), имеет вид
,
или учитывая, что
,
получим
Рис.5.4.2
Апостериорная плотность равна
,
где
или
Учитывая, что f(z) не зависит от х, а оцениваемой сигнал принимает лишь два отличных от нуля значения , причем f(x) отлична от нуля только в этих точках, получим, что f(x/z) принимает максимальное значение, т.е.
при том значении х, которое оказывается ближайшим к результату наблюдения z (при p=q=1/2), (рис.5.4.1) т.е.
.
Рис.5.4.3
Таким образом, в этом примере обе оценки и оказались нелинейными, причем при они становятся практически идентичными.