Тема 3 Метод главных компонент 3
Работа добавлена на сайт samzan.net:
Тема 3. Метод главных компонент
3.1. Главные компоненты
Центральной темой метода главных компонент является сокращение размерности исходного набора данных, состоящего из большого числа взаимосвязанных факторов, сохраняя при этом изменчивость данных (настолько насколько это возможно) в полученном наборе. Достигается это за счет перехода к такому набор факторов, в котором новые факторы некоррелированны и упорядочены таким образом, что первые из них объясняют большую часть изменений всех исходных факторов.
Предположим, что - вектор случайных величин и дисперсия этих величин и структуры ковариации или корреляции между переменнымипредставляют для нас интерес. Если мало или структура слишком проста, то зачастую бесполезно оценивать дисперсий и все корреляций и ковариаций. Альтернативным вариантом является поиск таких комбинаций факторов, которые сохраняют большую часть информации, заданных дисперсиями и корреляциями или ковариациями исходных факторов.
Рис. 3.1. 50 наблюдений переменных и .
Метод главных компонент не игнорирует ковариации и корреляции, но все же делает акцент на отклонениях. Первый шаг заключается в поиске новой переменной , — линейной комбинации элементов , имеющей максимальную дисперсию, где – транспонирование вектора, а — вектор размерностью , значения которого , представляют веса исходных факторов в линейной комбинации. Таким образом
Далее, ищется , — линейная комбинация исходных факторов, которая не коррелированна с и имеет максимальную дисперсию, и так далее. Так что на стадии линейная комбинация будет иметь максимальную дисперсию и не будет нулевые корреляции с линейными комбинациями . Подразумевается, что большинство изменений может быть объяснено главных компонент, где .
В дальнейшем векторы , , …, будем называть векторами весов или весовых коэффициентов, а линейные комбинации , , — главными компонентами или главными факторами.
Для наглядности и простоты понимания рассмотрим пример с двумя факторами (= 2). Преимущество =2 в том, что исходные факторы могут быть представлены в двумерном пространстве.
Рис. 3.2. 50 наблюдений с главными компонентами и .
На рисунке 1.1 показано 50 наблюдений двух тесно связанных факторов и . Существует большая разница между ними, но в первую очередь – в направлении от . Если перейдем к главным компонентам и , то получим график, показанный на рисунке 1.2.
Очевидно, что если существует большой разброс в направлении первой главной компоненты по сравнению с любым исходным фактором, в то время как в направлении второй главной компоненты разброс очень мал.
В более общем случае, если и множество исходных факторов сильно коррелированны, то первые несколько главных компонент будут описывать большую часть изменений исходных факторов. И наоборот, последние главные компоненты описывают небольшие изменения исходных факторов.
Рассмотрим случай, когда вектор исходных факторов представляет генеральную совокупность и описывается ковариационной матрицей , (,)-ый элемент которой равен значению ковариации между –ым и –ым элементами вектора , . Однако в реальном случае матрица неизвестна. В этом случае ковариационная матрица генеральной совокупности заменяется на ковариационную матрицу выборки .
Чтобы получить представление о главных компонентах, рассмотрим задачу поиска такой линейной комбинации , которая максимизирует . Очевидно, что максимум для вектора трудно найти без учета ограничения нормализации, которое может быть представлено в виде (сумма квадратов элементов равна 1).
Чтобы максимизировать , с учетом , необходимо использовать метод множителей Лагранжа. Функция Лагранжа может быть записана как
,
где — множитель Лагранжа.
Необходимым условием экстремума функции Лагранжа является равенство нулю градиента . Дифференцирование по дает
,
или
,
где имеет размерность и является единичная матрица. Таким образом, и является собственным значением и собственным вектором матрицы .
Чтобы решить, какой из собственных векторов дает с максимальной дисперсией, отметим, что величина, которая максимизируется, равна
,
так что должна быть максимально большим. Таким образом, — собственный вектор, соответствующий наибольшему собственному значению матрицы , а дисперсия представляет наибольшее собственное значение.
Вторая главная компонента, , максимизирует с сохранением некоррелированности с , что по сути эквивалентно , где описывает ковариацию между случайными величинами и . Но
.
В связи с этим, любое из уравнений
, ,
,
может быть использовано для определения нулевой корреляции между и .
Опять используем множители Лагранжа и ограничения нормализации, как показано выше. При этом функция Лагарнжа равна
,
где - множители Лагранжа. Дифференцирование по дает
,
а умножение этого уравнения на приводит к
,
где первые два слагаемых равны нулю, а и, как следствие, . Таким образом , или эквивалент , приводят к тому, что вновь становится собственным значением , а — собственным вектором. Таким образом представлены доказательства для случая ; в случае доказательство более сложное, но в целом выполняется по аналогичной схеме.
Таким образом, для третьей, четвертой, -ой главной компоненты векторы коэффициентов являются собственными векторами матрицы , которым соответствуют собственные значения . Кроме того, дисперсия каждой главной компоненты
., где .
В итоге, -ая главная компонента — это и дисперсия , где — -ое наибольшее собственное значение матрицы , а - собственный вектор.
Подобное представление коэффициентов главных компонент и дисперсий в качестве собственных векторов и собственных значений ковариационной матрицы является классическим.
Следует отметить, что иногда векторы называются главными компонентами, но подобная интерпретация сбивает с толку. Желательно, чтобы термин «главная компонента» использовался для обозначения , а назывался вектором весовых коэффициентов или нагрузкой -ой главной компоненты. Главный фактор также может использоваться в качестве синонима главной компоненты.
3.2. Вычисление главных компонент
Цель анализа главных компонент в задачах экономики выявить основные тенденции изменения исследуемых признаков экономического объекта и определить группы признаков, которые изменяются во времени одинаковым образом.
Пусть экономический объект описывается набором признаков , где – номер признака ( = 1, 2, 3, ..., ), — обозначает момент времени ( = 1, 2, 3, ..., ), — количество признаков, – количество моментов времени. Все значения каждого признака в различные моменты времени образуют временной ряд, который обозначается вектором . Таким образом, пространство признаков экономического объекта можно представить в виде матрицы временных рядов . Каждый столбец матрицы содержит все значения одного признака в различные моменты времени, а каждая строка включает значения всех признаков объекта в один момент времени. Таким образом, пространство признаков экономического объекта будет описываться матрицей
(2.1)
Среднеарифметические значения признаков используются в качестве центра распределения пространства признаков. Отцентрированное пространство признаков будем описывать матрицей , которое определяется соотношением (2.6).
Дисперсии признаков экономического объекта представлены ковариационной матрицей, порядок которой равен размерности вектора исходных признаков. Ковариационная матрица определяется по формуле .
Собственные векторы ковариационной матрицы определяются из решения уравнения
, (2.2)
где I – единичная матрица, собственный вектор, собственное значение.
На следующем шаге формируется матрица собственных векторов, которым соответствуют наибольшие собственные значения
. (2.3)
Полученная матрица представляет матрицу главных компонент. Визуальное и аналитическое изучение главных компонент может дать много интересной информации о структуре изучаемого процесса и свойствах составляющих его слагаемых.
На основе главных компонент вычисляются главные факторы. Каждый главный фактор представляет комбинацию исходных признаков
Исследуемый объект в каждый момент времени характеризуется вектором пространства . В каждый момент времени вектор признаков пространства может быть представлен в виде суммы главных компонент, т.е.
, (2.4)
где значение -го главного фактора в -й момент времени. Значение факторов в -й момент времени образуют вектор
Формула (2.4) может быть записана в форме
, (2.5)
где — матрица главных факторов, состоящая из векторов .
Общая изменчивость процесса изменения признаков определяется как сумма дисперсий исходных факторов , где — дисперсия -го фактора. Каждая главная компонента выделяет некоторый независимый подпроцесс, протекающий в рамках процесса изменения всех признаков исследуемого объекта. Независимость означает, что между различными подпроцессами, выделенных с помощью главных компонент, корреляция равна нулю. Вклад, который каждая главная компонента, вносит в общую изменчивость процесса можно оценить с помощью собственного значения. Сумма всех собственных значений равна сумме дисперсий всех признаков исследуемого объекта. Таким образом, вклад каждого подпроцесса, выделенной с помощью главной компоненты, в общую изменчивость процесса можно оценить по величине собственного значения данной главной компоненты.
Умножая слева уравнение (2.5) на матрицу , получим формулу для вычисления матрицы главных факторов
(2.6)
Матрица главных факторов представляет новое редуцированное пространство, которое описывает динамику отклонения исходных признаков от их среднеарифметических значений. Размерность редуцированного пространства равно что меньше исходной размерности в раз.
3.3. Анализ курсов валют
При анализе таких факторов как курс доллара США, курс Евро, индекс РТС, цена на нефть, доходность ГКО, межбанковская ставка были получены следующие главные компоненты
Рис. 3.3 Главные компоненты
Для рассматриваемой задачи первые пять главных компонент определяются по формулам
Первый главный фактор имеет наибольшую дисперсию — 319465, а пятый и шестой главные факторы обладают наименьшей вариативностью, их дисперсии равны: 0,571 и 0,435. Первый главный фактор связан в основном с индексом РТС, этим объясняется его высокая дисперсия. Второй главный фактор определяется во многом вариативностью изменения цен на нефть. Третий фактор определяется в основном комбинацией курсов ЕВРО, доллара США и доходностью ГКО. Дисперсия третьего главного фактора уже намного меньше дисперсии первого и второго фактора.
Главные компоненты можно использовать как фильтр для исходных показателей. Отбрасывая последние главные компоненты, мы тем самым удаляем из исходных показателей информацию, которая может быть следствием ошибок в данных, либо результатом неправильных действий.
На рис. 2.3 показан результат визуализации курса доллара США реконструированного с помощью первых двух главных компонент.
Рис. 3.4. Реконструкция курса доллара США по двум ГК
2. Молодая Гвардия Единой России Предполагаемое смещение эпицентров политической активности в регионы о
3. Автокран
4. 52 Лидерство в малой группе Лидерство являясь психологическим по своей природе феноменом т
5. Невербальная коммуникация ~ это поведение человека которое сигнализирует об эмоциональных состояниях и х.html
6. Консерватор Наиболее часто повторяющаяся эмоция- настороженность с волнением
7. на тему- Анализ финансового положения по данным БФО
8. тема РФ- структура и механизм взаимодействия ее элементов
9. Геноцид
10. реферат дисертації на здобуття наукового ступеня доктора економічних наук Харків
11. вічних двигунів
12. Топливно-энергетический комплекс (ТЭК
13. Образование государства и переодизация его истории в Древнем Египте Периоды-Раннее царство 31002800 Древ
14. Любая переменная ~ формула 2
15. Тема- Подарок Деду Морозу для детей подготовительной к школе группы
16. Статья Узловое соглашение в системе транспортных организационных договоровМорозов С
17. тема склонения и спряжения
18. Введение 2 История декоративной и растительной косметики 3
19. Влияние миграции, смешения, адаптации и изоляции на типологию людей
20. Автоматизация производства с внедрением гибких производственных систем