Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
МИНСК
БГУ
2003
УДК 519.2(075.3)
ББК 22.17р.я73
Г47
Рецензенты:
доктор физико-математических наук Н. Н. Труш;
доктор экономических наук Г. А. Хацкевич
Печатается по решению
Редакционно-издательского совета
Белорусского государственного университета
Гилевский С. В
Г47 Теория вероятностей и математическая статистика: Конспект
лекций / С. В. Гилевский, В. М. Молофеев. – Мн.: БГУ, 2003. – 174 с.
ISBN 985-485-010-2
Излагаются основные разделы курса "Теория вероятностей и математическая статистика" для студентов факультета радиофизики и электроники БГУ специальностей: G 31 04 02 "Радиофизика", G 31 04 03 "Физическая электроника", Р 98 01 01-02 "Компьютерная безопасность" и Е 25 01 10 "Коммерческая деятельность". Книга может быть полезной студентам инженерных специальностей и научно-техническим работникам, деятельность которых связана с изучением случайных явлений самой различной природы.
Предлагаемый конспект лекций "Теория вероятностей и математическая статистика" предназначен для студентов, проходящих подготовку на факультете радиофизики и электроники БГУ по специальностям: "Радиофизика", "Физическая электроника" и "Компьютерная безопасность". Конспект лекций преследует собой цель изложить основные понятия теории вероятностей и математической статистики, выработать у студентов навыки построения вероятностных моделей физических процессов и явлений, оказать помощь в овладении методикой применения аппарата теории вероятностей для решения практических задач инженерно-физического содержания. Данный курс является фундаментом для успешного овладения математическим моделированием, теорией информации и статистической радиофизикой, методами обработки сигналов и анализа стохастических процессов и систем.
В первых семи частях курса лекций рассматриваются основополагающие вопросы теории вероятностей: классическое определение вероятности, аксиоматическое построение теории вероятностей, теоремы сложения и умножения вероятностей, условная вероятность, формула полной вероятности и формула Байеса, случайные величины, их законы распределения и числовые характеристики, функции от случайных величин, характеристическая функция, закон больших чисел, центральная предельная теорема. Восьмой раздел посвящен рассмотрению основных понятий математической статистики, а также изучению задач построения статистических законов распределения, оценке неизвестных параметров распределения и проверке статистических гипотез.
Данный курс лекций совместно со сборником задач входит в состав соответствующего учебно-методического комплекса, который может быть использован для организации контролируемой самостоятельной работы студентов. Необходимо иметь в виду, что данный конспект лекций отнюдь не заменяет известные учебники по теории вероятностей и математической статистике Б. В. Гнеденко, В. Феллера, Е. С. Вентцель.
Авторы выражают искреннюю благодарность за большую методическую помощь в создании курса лекций члену-корреспонденту НАН Беларуси профессору Александру Михайловичу Широкову.
ПРИЛОЖЕНИЕ 1
Таблица значений функции
|
х |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 |
0,3989 3970 3910 3814 3683 3521 3332 3123 2897 2661 0,2420 2179 1942 1714 1497 1295 1109 0940 0790 0656 0,0540 0440 0355 0283 0224 0175 0136 0104 0079 0060 0,0044 0033 0024 0017 0012 0009 0006 0004 0003 0002 |
3989 3965 3902 3802 3668 3503 3312 3101 2874 2637 2396 2155 1919 1691 1476 1276 1092 0925 0775 0644 0529 0431 0347 0277 0219 0171 0132 0101 0077 0058 0043 0032 0023 0017 0012 0008 0006 0004 0003 0002 |
3989 3961 3894 3790 3653 3485 3292 3079 2850 2613 2371 2131 1895 1669 1456 1257 1074 0909 0761 0632 0519 0422 0339 0270 0213 0167 0129 0099 0075 0056 0042 0031 0022 0016 0012 0008 0006 0004 0003 0002 |
3988 3956 3885 3778 3637 3467 3271 3056 2827 2589 2347 2107 1872 1647 1435 1238 1057 0893 0748 0620 0508 0413 0332 0264 0208 0163 0126 0096 0073 0055 0040 0030 0022 0016 0011 0008 0005 0004 0003 0002 |
3986 3951 3876 3765 3621 3448 3251 3034 2803 2565 2323 2083 1849 1626 1415 1219 1040 0878 0734 0608 0498 0404 0325 0258 0203 0158 0122 0093 0071 0053 0039 0029 0021 0015 0011 0008 0005 0004 0003 0002 |
3984 3945 3867 3752 3605 3429 3230 3011 2780 2541 2299 2059 1826 1604 1394 1200 1023 0863 0721 0596 0488 0396 0317 0252 0198 0154 0119 0091 0069 0051 0038 0028 0020 0015 0010 0007 0005 0004 0002 0002 |
3982 3939 3857 3739 3589 3410 3209 2989 2756 2516 2275 2036 1804 1582 1374 1182 1006 0848 0707 0584 0478 0387 0310 0246 0194 0151 0116 0088 0067 0050 0037 0027 0020 0014 0010 0007 0005 0003 0002 0002 |
3980 3932 3847 3726 3572 3391 3187 2966 2732 2492 2251 2012 1781 1561 1354 1163 0989 0833 0694 0573 0468 0379 0303 0241 0189 0147 0113 0086 0065 0048 0036 0026 0019 0014 0010 0007 0005 0003 0002 0002 |
3977 3925 3836 3712 3555 3372 3166 2943 2709 2468 2227 1989 1758 1539 1334 1145 0973 0818 0681 0562 0459 0371 0297 0235 0184 0143 0110 0084 0063 0047 0035 0025 0018 0013 0009 0007 0005 0003 0002 0001 |
3973 3918 3825 3697 3538 3352 3144 2920 2685 2444 2203 1965 1736 1518 1315 1127 0957 0804 0669 0551 0449 0363 0290 0229 0180 0139 0107 0081 0061 0046 0034 0025 0018 0013 0099 6006 0004 0003 0002 0001 |
ПРИЛОЖЕНИЕ 2
Таблица значений функции
|
х |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 |
0,00000 03983 07926 11791 15542 19146 22575 25804 28814 31594 34134 36433 38493 40320 41924 43319 44520 45543 46407 47128 47725 48214 48610 48928 49180 49379 49534 49653 49744 49813 |
00399 04380 08317 12172 15910 19497 22907 26115 29103 31859 34375 36650 38686 40490 42073 43448 44630 45637 46485 47193 47778 48257 48645 48956 49202 49396 49547 49664 49752 49819 |
00798 04776 08706 12552 16276 19847 23237 26424 29389 32121 34614 36864 38877 40658 42220 43574 44738 45728 46562 47257 47831 48300 48679 48983 49224 49413 49560 49674 49760 49825 |
01197 05172 09095 12930 16640 20194 23565 26730 29673 32381 34850 37076 39065 40824 42364 43699 44845 45818 46638 47320 47882 48341 48713 49010 49245 49430 49573 49683 49767 49831 |
01595 05567 09483 13307 17003 20540 23891 27035 29955 32639 35083 37286 39251 40988 42501 43822 44950 45907 46712 47381 47932 48382 48745 49036 49266 49446 49585 49693 49774 49836 |
01994 05962 09871 13683 17364 20884 24215 27337 30234 32894 35314 37493 39435 41149 42647 43943 45053 45994 46784 47441 47982 48422 48778 49061 49286 49461 49598 49702 49781 49841 |
02392 06356 10257 14058 17724 21226 24537 27637 30511 33147 35543 37698 39617 41309 42786 44062 45154 46080 46856 47500 48030 48461 48809 49086 49305 49477 49609 49711 49788 49846 |
02790 06749 10642 14431 18082 21566 24857 27935 30785 33398 35769 37900 39796 41466 42922 44179 45254 46164 46926 47558 48077 48500 48840 49111 49324 49492 49621 49720 49795 49851 |
03188 07142 11026 14803 18439 21904 25175 28230 31057 33646 35993 38100 39973 41621 43056 44295 45352 46246 46995 47615 48124 48537 48870 49134 49343 49506 49632 49728 49801 49856 |
03586 07535 11409 15173 18793 22240 25490 28524 31327 33891 36214 38298 40147 41774 43189 44408 45449 46327 47062 47670 48169 48574 48899 49158 49361 49520 49643 49736 49807 49861 |
|
3,0 |
0,49865 |
3,1 |
49903 |
3,2 |
49931 |
3,3 |
49952 |
3,4 |
49966 |
|
3,5 |
49977 |
3,6 |
49984 |
3,7 |
49989 |
3,8 |
49993 |
3,9 |
49995 |
|
4,0 |
499968 |
||||||||
|
4,5 |
499997 |
||||||||
|
5,0 |
49999997 |
ПРИЛОЖЕНИЕ 3
Процентные точки распределения
|
r |
0,990 |
0,975 |
0,950 |
0,900 |
0,10 |
0,05 |
0.025 |
0,010 |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 40 60 120 |
0,00016 0,0201 0,115 0,297 0,554 0,872 1,24 1,65 2,09 2,56 3,05 4,57 4,11 4,66 5,23 5,81 6,41 7,01 7,63 8,26 8,90 9,54 10,20 10,86 11,52 12,20 12,88 13,56 14,26 14,95 22,16 37,48 86,92 |
0,00098 0,0506 0,216 0,484 0,831 1,24 1,69 2,18 2,70 3,25 3,82 4,40 5,01 5,63 6,26 6,91 7,56 8,23 8,91 9,59 10,28 10,98 11,69 12,40 13,12 13,84 14,57 15,31 16,05 16,79 24,43 40,48 91,58 |
0,0039 0,103 0,352 0,711 1,15 1,64 2,17 2,73 3,33 3,94 4,57 5,23 5,89 6,57 7,26 7,96 8,67 9,39 10,12 10,85 11,59 12,34 13,09 13,85 14,61 15,38 16,15 16,93 17,71 18,49 26,51 43,19 95,70 |
0,158 0,211 0,584 1,06 1,61 2,20 2,83 3,49 4,17 4,87 5,58 6,30 7,04 7,79 8,55 9,31 10,08 10,86 11,65 12,44 13,24 14,04 14,85 15,66 16,47 17,29 18,11 18,94 19,77 20,60 29,05 46,46 100,62 |
2,71 4,61 6,25 7,78 9,24 10,64 12,02 13,36 14,68 15,99 17,28 18,55 19,81 21,06 22,31 23,54 24,77 25,99 27,20 28,41 29,62 30,81 32,01 33,20 34,38 35,56 36,74 37,92 39,09 40,26 51,81 74,40 140,23 |
3,84 5,99 7,81 9,49 11,07 12,59 14,07 15,51 16,92 18,31 19,68 21,03 22,36 23,68 25,00 26,30 27,59 28,87 30,14 31,41 32,67 33,92 35,17 36,42 37,65 38,88 40,11 41,34 42,56 43,77 55,76 79,08 146,57 |
5,02 7,38 9,35 11,14 12,83 14,45 16,01 17,53 19,02 20,48 21,92 23,34 24,74 26,12 27,49 28,85 30,19 31,53 32,85 34,17 35,48 36,78 38,08 39,36 40,65 41,92 43,19 44,46 45,72 46,98 59,34 83,30 152,21 |
6,63 9,21 11,34 13,28 15,09 16,81 18,48 20,09 21,67 23,21 24,73 26,22 27,69 29,14 30,58 32,00 33,41 34,81 36,19 37,57 38,93 40,29 41,64 42,98 44,31 45,64 46,96 48,28 49,59 50,89 63,69 88,38 158,95 |
ПРИЛОЖЕНИЕ 4
Процентные точки t-распределения Стьюдента
|
k |
0,20 |
0,10 |
0,050 |
0,025 |
0,010 |
0,005 |
0,001 |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 40 60 80 100 200 500 |
1,376 1,061 0,978 0,941 0,920 0,906 0,896 0,889 0,883 0,879 0,876 0,873 0,870 0,868 0,866 0,865 0,863 0,862 0,861 0,860 0,859 0,858 0,858 0,857 0,856 0,856 0,855 0,855 0,854 0,854 0,851 0,848 0,846 0,845 0,843 0,842 0,842 |
3,078 1,886 1,638 1,553 1,476 1,440 1,415 1,397 1,383 1,372 1,363 1,356 1,350 1,345 1,341 1,337 1,333 1,330 1,328 1,325 1,323 1,321 1,319 1,318 1,316 1,315 1,314 1,313 1,311 1,310 1,303 1,296 1,292 1,290 1,286 1,283 1,282 |
6,314 2,920 2,353 2,132 2,015 1,943 1,895 1,860 1,833 1,812 1,796 1,782 1,771 1,761 1,753 1,746 1,740 1,734 1,729 1,725 1,721 1,717 1,714 1,711 1,708 1,706 1,703 1,701 1,699 1,697 1,684 1,671 1,664 1,660 1,653 1,648 1,645 |
12,71 4,303 3,182 2,776 2,571 2,447 2,365 2,306 2,262 2,228 2,201 2,179 2,160 2,145 2,131 2,120 2,110 2,101 2,093 2,086 2.080 2,074 2,069 2,064 2,060 2,056 2,052 2,048 2,045 2,042 2,021 2,000 1,990 1,984 1,972 1,965 1,960 |
31,82 6,965 4,541 3,747 3,365 3,143 2,998 2,896 2,821 2,764 2,718 2,681 1,650 2,624 2,602 2,583 2,567 2,552 2,539 2,528 2,518 2,508 2,500 2,492 2,485 2,479 2,473 2,467 2,462 2,457 2,423 2,390 2,374 2,365 2,345 2,334 2,326 |
63,667 9,925 5,841 4,604 4,032 3,707 3,499 3,455 3,250 3,169 3,106 3,055 3,012 2,977 2,947 2,921 2,898 2,878 2,861 2,845 2,831 2,819 2,807 2,797 2,787 2,779 2,771 2,763 2,756 2,750 2,704 2,660 2,639 2,626 2,601 2,586 2,576 |
318,3 22,33 10,22 7,173 5,893 5,208 4,785 4,501 4,297 4,144 4,025 3,930 3,852 3,787 3,733 3,686 3,646 3,611 5,579 3,552 3,527 3,505 3,485 3,467 3,450 3,435 3,421 3,408 3,396 3,385 3,307 3,232 3,195 3,174 3,131 3,106 3,090 |
ПРИЛОЖЕНИЕ 5
Процентные точки F-распределения Фишера для
|
k1 k2 |
1 |
2 |
3 |
4 |
5 |
6 |
8 |
12 |
24 |
|
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 40 60 120 |
161,5 18,51 10,13 7,710 6,607 5,987 5,591 5,317 5,117 4,965 4,844 4,747 4,667 4,600 4,543 4,494 4,451 4,414 4,381 4,351 4,325 4,301 4,279 4,260 4,242 4,225 4,210 4,196 4,183 4,171 4,085 4,001 3,920 3,841 |
199,5 19,00 9,552 6,945 5,786 5,143 4,737 4,459 4,256 4,103 3,982 3,885 3,805 3,739 3,683 3,634 3,592 3,555 3,522 3,493 3,467 3,443 3,422 3,403 3,385 3,369 3,354 3,340 3,328 3,316 3,232 3,151 3,072 2,996 |
215,7 19,16 9,276 6,591 5,410 4,756 4,347 4,067 3,863 3,708 3,587 3,490 3,410 3,344 3,287 3,239 3,197 3,160 3,127 3,098 3,072 3,049 3,028 3,009 2,991 2,975 2,961 2,947 2,934 2,922 2,839 2,758 2,680 2,605 |
224,6 19,25 9,118 6,388 5,192 4,534 4,121 3.838 3,633 3,478 3,357 3.259 3,179 3.112 3,056 3,007 2,965 2,928 2,895 2,866 2,840 2,817 2,795 2,777 2,759 2,743 2,728 2,714 2,702 2,690 2,606 2,525 2,447 2,372 |
230,2 19,30 9,014 6,257 5.050 4,388 3,972 3,688 3,482 3,326 3,204 3,106 3.025 2,958 2,901 2,853 2,810 2,773 2,740 2,711 2,685 2,661 2,640 2,621 2,603 2,587 2,572 2,558 2,545 2,534 2,449 2,368 2,290 2,214 |
234,0 19,33 8,941 6,164 4,950 4.284 3,866 3,580 3,374 3,217 3,094 2.999 2,915 2,848 2,790 2,741 2,699 2,661 2,629 2,599 2,573 2,549 2,528 2,508 2,490 2,474 2,459 2,445 2,432 2,421 2,336 2,254 2,175 2,098 |
238,9 19,37 8,844 6,041 4,818 4,147 3,725 3,438 3.230 3,072 2,948 2,848 2,767 2,699 2,641 2,591 2,548 2,510 2,477 2,447 2,421 2,397 2,375 2,355 2,337 2,321 2,305 2,292 2,278 2,266 2,180 2,097 2,106 1,938 |
243,9 19,41 8,744 5,912 4,678 4,000 3.574 3.284 3,073 2,913 2,788 2,686 2,604 2,534 2,475 2,424 2,381 2,342 2,308 2,278 2,250 2,226 2,203 2,183 2,165 2,148 2,132 2,118 2,104 2,092 2,004 1,918 1,834 1,752 |
249,0 19.45 8,638 5,774 4,527 3,841 3,410 3,116 2,900 2,737 2,609 2,505 2,420 2,349 2,288 2,235 2,190 2,150 2,114 2,083 2,054 2,028 2,005 1,984 1,965 1,947 1,930 1,915 1,901 1,887 1,793 1,700 1,608 1,517 |
254.3 19,50 8,527 5,628 4,365 3,669 3,230 2,928 2,707 2,538 2,405 2,296 2,207 2,131 2,066 2,010 1,961 1,917 1,878 1,843 1,812 1,783 1,757 1,733 1,711 1,691 1,672 1,654 1,638 1,622 1,509 1,389 1,254 1,000 |
|
ПРЕДИСЛОВИЕ…………………………..…………….………………………….…. |
3 |
|
Часть 1. ВВЕДЕНИЕ ………………….……………………………………..……. |
4 |
|
Лекция 1. Основные понятия теории вероятностей .…………………………..... |
4 |
|
Случайное событие (5). Опыт с конечным числом исходов. Классическое определение вероятности (6). Непосредственный подсчет вероятностей. Схема выбора с возвращением и без возвращения элементов (7). Частота или статистическая вероятность события (9). |
|
|
Часть 2. АКСИОМАТИЧЕСКОЕ ПОСТРОЕНИЕ ТЕОРИИ |
11 |
|
Лекция 2. Теоретико-множественная трактовка основных понятий теории |
11 |
|
Элементарные сведения из теории множеств (11). Аксиомы теории вероятностей и их следствия. Правила сложения вероятностей (14). Следствия правила сложения вероятностей (17). |
|
|
Лекция 3. Условная вероятность и независимость событий. Формула полной |
19 |
|
Условная вероятность события (19). Независимость событий (20). Рекомендации и примеры использования основных правил теории вероятностей (21). Формула полной вероятности (22). Теорема гипотез (формула Байеса) (23). |
|
|
Часть 3. ПОСЛЕДОВАТЕЛЬНОСТЬ НЕЗАВИСИМЫХ ИСПЫТАНИЙ … |
26 |
|
Лекция 4. Независимые испытания. Формула Бернулли. Асимптотические |
26 |
|
Независимые испытания (26). Формула Бернулли (27). Локальная и интегральная предельные теоремы (29). Теорема Пуассона (34). |
|
|
Часть 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ …………………………………………. |
35 |
|
Лекция 5. Случайные величины. Законы распределения случайных величин |
35 |
|
Закон распределения. Ряд распределения дискретной случайной величины (36). Функция распределения (37). Функция распределения дискретной случайной величины (40). Непрерывная случайная величина. Плотность распределения (41). |
|
|
Лекция 6. Числовые характеристики случайных величин ..…………………... |
45 |
|
Числовые характеристики положения (45). Моменты. Дисперсия и среднее квадратичное отклонение (48). |
|
|
Лекция 7. Распределения дискретных случайных величин …………………… |
53 |
|
Производящая функция (53). Биноминальное распределение (54). Распределение Пуассона (56). Простейший поток событий (57). Геометрическое распределение (59). Гипергеометрическое распределение (61). |
|
|
Лекция 8. Распределения непрерывных случайных величин ..…….…………. |
62 |
|
Равномерное распределение (62). Показательное распределение (64). Нормальное распределение (67). Гамма- распределение и распределение Эрланга (71). |
|
|
Часть 5. СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН …………………………….. |
73 |
|
Лекция 9. Закон распределения системы двух случайных величин ……..…... |
73 |
|
Понятие о системе случайных величин (73). Функция распределения системы двух случайных величин (75). Система двух дискретных случайных величин. Матрица распределения (77). Система двух непрерывных случайных величин. Совместная плотность распределения (79). Зависимые и независимые случайные величины. Условные законы распределения (82). |
|
|
Лекция 10. Числовые характеристики системы двух случайных величин. |
85 |
|
Начальные и центральные моменты (85). Ковариация (87). Регрессия (88). Двумерное нормальное распределение (90). Закон распределения и числовые характеристики n-мерного случайного вектора (91). Многомерное нормальное распределение (95). |
|
|
Часть 6. ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН …………………………….. |
97 |
|
Лекция 11. Закон распределения и числовые характеристики функций |
97 |
|
Понятие о функции случайной величины (97). Теоремы о числовых характеристиках функций случайных величин (99). Закон распределения функции случайного аргумента (101). Закон распределения суммы двух случайных величин. Композиция законов распределения (104). |
|
|
Лекция 12. Характеристическая функция ………………………………………... |
106 |
|
Метод линеаризации функций случайных величин (106). Комплексные случайные величины (108). Характеристическая функция случайной величины и ее свойства (110). |
|
|
Часть 7. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ ……….. |
113 |
|
Лекция 13. Закон больших чисел и центральная предельная теорема ...….….. |
113 |
|
Неравенство Чебышева (113). Закон больших чисел (116). Следствия закона больших чисел (120). Центральная предельная теорема (121). |
|
|
Часть 8. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА ……………………………... |
126 |
|
Лекция 14. Основные понятия и задачи математической статистики …….…. |
126 |
|
Генеральная и выборочная совокупности (126). Типичные задачи математической статистики (127). Выборочная функция распределения (128). Статистическое распределение выборки. Полигон и гистограмма (130). Наиболее важные распределения (133). |
|
|
Лекция 15. Статистическое оценивание параметров распределения ……….… |
138 |
|
Виды оценок (138). Классификация точечных оценок (139). Точечные оценки математического ожидания и дисперсии (141). Методы получения оценок параметров распределения (143). Интервальные оценки параметров (146). Интервальные оценки математического ожидания и дисперсии нормальных случайных величин (149). |
|
|
Лекция 16. Проверка статистических гипотез ..…………………………….……. |
153 |
|
Определение статистической гипотезы (153). Проверка гипотезы о равенстве статистических средних значений (157). Проверка гипотезы о равенстве двух дисперсий (160). Критерий согласия (161). |
|
|
ЛИТЕРАТУРА ………………………………….……...……....……………………... |
166 |
|
Приложение 1 ………………..……………..……………………….……………..…. |
167 |
|
Приложение 2 ………………..………………………………..…….……..…………. |
168 |
|
Приложение 3 ………………..…..……………………………..….…………………. |
169 |
|
Приложение 4 ………………..……………………..……………...…………………. |
170 |
|
Приложение 5 ……………..…………………………………….……………………. |
171 |
ЧАСТЬ 1
ВВЕДЕНИЕ
Лекция 1
ЦЕЛЬ ЛЕКЦИИ: определить предмет курса; ввести понятия опыта, случайного явления, случайного события, а также вероятности и частоты события; дать классическое определение вероятности и провести классификацию схем выбора при непосредственном подсчете вероятности.
Теория вероятностей – математическая наука, изучающая закономерности в случайных явлениях.
Под опытом понимается некоторая воспроизводимая совокупность условий, в которой наблюдается то или иное явление. Опыт может представлять как одно испытание, так и серию испытаний.
Случайное явление – это такое явление, которое при неоднократном воспроизведении одного и того же опыта протекает каждый раз несколько по-иному.
Примеры случайных явлений: взвешивание тела на аналитических весах, подбрасывание монеты или игрального кубика.
В данных примерах условия опыта неизменны, но результаты опыта варьируются. Эти вариации связаны с воздействием второстепенных факторов, влияющих на исход опыта, но не оговоренных в числе основных условий. На практике существует большой класс задач, в которых интересующий исход опыта зависит от столь большого числа факторов, что учесть их в полном объеме невозможно.
При наблюдении совокупности однородных случайных явлений часто обнаруживается закономерность, получившая название устойчивости частот (бросание монеты при многократном повторении дает число выпадения герба, равное 1/2, бросание игрального кубика дает число выпадений грани с цифрой 6, равное 1/6; процент брака в отлаженном технологическом процессе). Проявление такого рода закономерности при массовом воспроизведении опыта позволяет сделать вывод о том, что отдельные индивидуальности случайных явлений тонут в суммарном результате опытов.
Таким образом, базой для применения вероятностных (статистических) методов является свойство устойчивости частот в массовых случайных явлениях. Методы теории вероятностей не позволяют предсказать исход отдельного опыта, но дают возможность предсказать суммарный результат (в среднем) большого числа опытов. К примеру, случайным является движение молекул газа в сосуде, и не представляется возможным предсказать траекторию движения и скорость отдельной молекулы, однако давление газа на стенки сосуда (при большом числе молекул) является неслучайной величиной.
Зарождение теории вероятностей связано с исследованиями Паскаля (1623–1662), Ферма (1601–1665), Гюйгенса (1629–1695) в области теории азартных игр, когда было сформулировано понятие вероятности, математического ожидания. Классическое определение вероятности события было введено Якобом Бернулли (1654–1705), им же был сформулирован закон больших чисел. В дальнейшем основы теории вероятностей закладывались работами таких математиков, как Муавр (1667–1754), Лаплас(1749–1827), Гаусс (1777–1855), Пуассон (1781–1840). Большой вклад в развитие теории вероятностей внесла русская школа математики в лице П. Л. Чебышева (1821–1894), А. А. Маркова (1856–1922), А. М. Ляпунова (1857–1918), А. Н. Колмогорова(1903–1987).
Случайное событие
Случайное событие – всякий факт, который в результате опыта со случайным исходом может произойти или не произойти.
Примеры: А – появление герба при подбрасывании монеты; В – появление четной цифры при подбрасывании игрального кубика; С – попадание в мишень при выстреле.
Противоположным событию А называется событие , состоящее в невыполнении события А.
У каждого из событий – разная возможность его появления. В качестве численной меры степени объективной возможности события используется понятие вероятности события. Понятие вероятности события связано с понятием частоты события.
Достоверным называется событие, которое в результате опыта обязательно должно произойти, невозможным называется событие, которое в результате опыта произойти не может. Для достоверного события полагается вероятность, равная 1, для невозможного события – 0. Исходя из этого, диапазон изменения вероятности будет составлять 0 – 1.
Практически невозможным называется событие, вероятность которого не в точности равна 0, но весьма близка к 0. Например: из разрезной азбуки, состоящей из 32 букв, вынимается с возвращением 15 букв. Какова вероятность того, что последовательность этих букв составит фразу "Как молоды мы были"? Данная вероятность составит (1/32)15. Событие практически невозможное.
Практически достоверным называется событие, вероятность которого не в точности равна 1, но весьма близка к 1. Такое событие является противоположным практически невозможному. С данными понятиями связывается принцип практической уверенности, который формулируется следующим образом: если вероятность некоторого события А в данном опыте весьма мала, то можно быть практически уверенным, что при однократном проведении опыта событие А не произойдет. Выбор вероятности, которая бы считалась достаточной при определении возможности того или иного прогноза, производится каждый раз из практических соображений с учетом стоимости потерь, вызванных ошибочным прогнозом.
Опыт с конечным числом исходов.
Классическое определение вероятности
В ряде опытов, таких, как подбрасывание монеты, подбрасывание игрального кубика, карточные игры, рулетка, извлечение наудачу определенного числа шаров из урны, возможные исходы обладают определенной симметрией к условиям опыта и одинаково возможны (опыты с конечным числом равновероятных исходов). В частности, при подбрасывании "правильного" кубика ни один из элементарных исходов (появление любой цифры: 1,2,3,4,5,6) нельзя считать более предпочтительным, чем другой.
Для таких опытов представляется возможным непосредственно подсчитать вероятность события. Именно при анализе таких опытов и было сформулировано в XVII в. классическое определение вероятности.
Прежде чем сформулировать классическое определение вероятности, введем ряд определений.
Несколько событий в данном опыте образуют полную группу событий, если в результате опыта непременно должно появиться хотя бы одно из них, например герб, цифра (решка) при бросании монеты; попадание, промах при стрельбе; появление 1,2,3,4,5,6 при бросании игральной кости.
Несколько событий называются несовместными в данном опыте, если исключено их совместное появление (герб и решка при бросании монеты).
Равновозможными событиями называют события, если по условиям симметрии опыта можно считать, что ни одно из этих событий не является объективно более возможным, чем другое (герб или решка при бросании монеты).
Если группа событий обладает всеми тремя свойствами: полноты, равновозможности и несовместности, то такие события называют случаями. Случай называют благоприятным некоторому событию А, если появление этого случая влечет за собой появление данного события. Например, при бросании игральной кости есть три случая, благоприятных событию А, которое состоит в появлении четного числа очков, а именно появлении 2, 4 или 6.
Соответственно опыт, при котором имеет место симметрия равновозможных и исключающих друг друга исходов, получил название схемы случаев (или схемы урн). Непосредственный подсчет вероятностей в схеме случаев основан на оценке доли благоприятных случаев в их общем числе:
(1.1)
где – число благоприятных случаев событию А, n – общее число случаев.
Так как число благоприятных случаев может изменяться от 0 до n, то вероятность события будет изменяться в пределах 0 – 1. Формула (1.1) называется классической формулой, она используется для непосредственного подсчета вероятностей, когда опыт сводится к схеме случаев.
Непосредственный подсчет вероятностей.
Схема выбора с возвращением
и без возвращения элементов
При определении вероятности события по классической формуле (1.1) для определения общего числа случаев и числа благоприятных случаев часто привлекаются элементы комбинаторики. При этом в каждом опыте важным является способ выбора элементов.
Существуют две схемы выбора: схема выбора без возвращения элементов и схема выбора с возвращением элементов. В первом случае извлеченные m элементов (без разницы, по одному или вместе) не возвращаются в исходную совокупность. Во втором случае на каждом шаге элементы извлекаются по одному, фиксируется выбранный элемент, затем он возвращается, и вся исходная совокупность тщательно перемешивается. Таким образом, во втором случае один и тот же элемент может извлекаться неоднократно.
После осуществления выбора элементы могут быть упорядочены или нет. Итак, в классической схеме существует четыре типа опытов. Рассмотрим, каким образом рассчитываются общее число случаев и число благоприятных случаев в каждой схеме.
Схема выбора без возвращения и без упорядочивания порядка следования элементов (схема выбора, приводящая к сочетаниям). Опыт состоит в выборе из исходной совокупности объемом n элементов m элементов без возвращения и без упорядочивания порядка следования элементов. В этом опыте различными исходами будут совокупности m элементов, отличающиеся друг от друга составом элементов. Количество таких совокупностей (а следовательно, и исходов опыта) определяется числом сочетаний из п элементов по m:
(1.2)
Свойства числа сочетаний:
1)
2) (свойство симметрии);
3) (рекуррентное соотношение);
4) (следствие биномиальной формулы Ньютона).
Схема выбора без возвращения, но с упорядочиванием порядка следования элементов (схема выбора, приводящая к размещениям). Опыт состоит в выборе из исходной совокупности объемом n элементов т элементов без возвращения, но с упорядочиванием порядка следования элементов. В этом опыте различными исходами будут совокупности т элементов, отличающиеся друг от друга как составом элементов, так и порядком их следования. Количество таких совокупностей (а следовательно, и исходов опыта) определяется числом размещений из п элементов по т:
(1.3)
При размещения представляют из себя перестановки из п элементов:
Схема выбора с возвращением и без упорядочивания порядка следования элементов (схема выбора, приводящая к сочетаниям с повторениями). Опыт состоит в выборе из исходной совокупности объемом п элементов т элементов с возвращением и без упорядочивания порядка следования элементов. В этом опыте различными исходами будут совокупности т элементов, отличающиеся друг от друга составом элементов. При этом отдельные наборы могут содержать повторяющиеся элементы. Количество таких совокупностей (а следовательно, и исходов опыта) определяется числом сочетаний с повторениями из п элементов по т:
Схема выбора с возвращением и с упорядочиванием порядка следования элементов (схема выбора, приводящая к размещениям с повторениями). Опыт состоит в выборе из исходной совокупности объемом п элементов т элементов с возвращением и с упорядочиванием порядка следования элементов. В этом опыте различными исходами будут совокупности т элементов, отличающиеся друг от друга как составом элементов, так и порядком следования элементов. При этом отдельные наборы могут содержать повторяющиеся элементы. Количество таких совокупностей (а следовательно, и исходов опыта) определяется числом размещений с повторениями из п элементов по т:
Частота или статистическая вероятность события
Если опыт не сводится к схеме случаев (например, игральная кость несимметрична, и выпадение определенной грани уже не будет равно 1/6), то для определения вероятности события используют понятие частоты события и связь между вероятностью и частотой.
Частотой события А в опыте, состоящем из серии испытаний, называется отношение числа испытаний, в которых появилось событие А, к общему числу испытаний.
Частоту события иногда называют статистической вероятностью в отличие от "математической", определенной ранее. Вычисляется частота события по следующей формуле:
(1.4)
где – число появлений события А в опыте, N – общее число произведенных испытаний.
При небольшом числе испытаний частота события носит в значительной степени случайный характер и может меняться от одной серии испытаний к другой. Например, рассмотрим опыт, который заключается в том, что монета бросается 10 раз. Интересующее нас событие А – появление герба. Повторяя опыт несколько раз, мы можем фиксировать частоту появления герба: 0,2; 0,4; 0,6; 0,8. Но с увеличением числа испытаний частота события теряет свой случайный характер, приближаясь к некоторой средней постоянной величине. В случае с симметричной монетой частота будет близка к 1/2.
Как отмечено выше, теория вероятностей исследует явления, которые характеризуются устойчивостью частот. В этом случае между частотой события и вероятностью существует органическая связь. В частности, для схемы случаев частота события при увеличении числа испытаний всегда приближается к его вероятности. И в общем случае справедливым является утверждение, что в серии испытаний частота события приближается к вероятности события с тем большей вероятностью, чем больше произведено испытаний. Для вероятностного приближения одних величин к другим используется специальный термин – "сходимость по вероятности". С учетом этого термина выше приведенное утверждение запишется
(1.5)
Данное утверждение составляет сущность теоремы Я. Бернулли и является следствием более общей закономерности, а именно закона больших чисел.
ЧАСТЬ 2
АКСИАМАТИЧЕСКОЕ ПОСТРОЕНИЕ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
Лекция 2
ЦЕЛЬ ЛЕКЦИИ: познакомить с элементарными сведениями из теории множеств; сформулировать аксиомы теории вероятностей, их следствия и правило сложения вероятностей.
Элементарные сведения из теории множеств
Множеством называется любая совокупность объектов произвольной природы, каждый из которых называется элементом множества.
Примеры множеств: множество студентов на лекции; множество точек на плоскости, лежащих внутри круга радиуса r; множество точек на числовой оси, расстояние от которых до точки b с абсциссой а не превышает d; множество натуральных чисел.
Множества обозначаются по-разному. Множество M натуральных чисел от 1 до 100 может быть записано как
целое;
Множество точек на числовой оси, расстояние от которых до точки b с абсциссой а не превышает d, можно записать в виде
или ,
где x – абсцисса точки.
Множество точек плоскости, лежащих внутри или на границе круга радиуса r с центром в начале координат,
или
где x, y – декартовы координаты точки.
Еще одна запись этого множества
,
где – одна из полярных координат точки.
По числу элементов множества делятся на конечные и бесконечные. Множество конечно и состоит из 100 элементов. Но множество может состоять и из одного элемента и даже вообще не содержать элементов.
Множество всех натуральных чисел бесконечно, также как бесконечно множество четных чисел .
Бесконечное множество называется счетным, если все его элементы можно расположить в какой-то последовательности и пронумеровать (оба множества, и , являются счетными).
Множества S и C бесконечны и несчетны (их элементы нельзя пронумеровать).
Два множества A и B совпадают, если они состоят из одних и тех же элементов: и . Совпадение множеств обозначается знаком равенства: А=В. Запись обозначает, что объект а является элементом множества А или "а принадлежит А". Другая запись означает , что "а не принадлежит А".
Множество, не содержащее ни одного элемента, называется пустым и обозначается символом .
Множество В называется подмножеством (частью) множества А, если все элементы В содержатся и в А, и обозначается как или . Например, .
Подмножество может быть равно самому множеству. Графически можно изобразить соотношение множества и подмножества, как показано на рис. 2.1, где каждая точка фигуры В принадлежит и фигуре А, т. е. .
Объединением (суммой) множеств А и В называется множество , состоящее из всех элементов А и всех элементов В. Таким образом, объединение – это совокупность элементов, принадлежащих хотя бы одному из объединяемых множеств.
Например: .
B
A
Рис. 2.2. Объединение двух множеств
А+B
B
A
Рис. 2.1. Множество А и подмножество В
Геометрическая интерпретация объединения двух множеств А и В показана на рис. 2.2.
Аналогично определяется объединение (сумма) нескольких множеств
,
где результирующее множество есть множество всех элементов, входящих хотя бы в одно из множеств: .
Пересечением (произведением) множеств А и В называется множество D, состоящее из элементов, входящих одновременно и в А, и в :
Рис. 2.3. Пересечение двух множеств
B
A
АB
.
Геометрическая интерпретация пересечения представлена на рис. 2.3.
Аналогично определяется пересечение нескольких множеств
как множество, состоящее из элементов, входящих одновременно во все множества.
Операции объединения (сложения) и пересечения (умножения) множеств обладают рядом свойств, которые аналогичны свойствам сложения и умножения чисел:
1. Переместительное свойство:
.
2. Сочетательное свойство:
.
3. Распределительное свойство:
.
Прибавление пустого множества и умножение на пустое множество аналогичны соответствующим операциям над числами, если считать нуль за пустое множество:
.
Некоторые операции над множествами не имеют аналогов в обычных операциях над числами, в частности
.
Аксиомы теории вероятностей и их следствия.
Правила сложения вероятностей
Пользуясь элементарными сведениями по теории множеств, можно дать теоретико-множественную схему построения теории вероятностей и ее аксиоматику.
При опыте со случайным исходом имеется множество всех возможных исходов опыта. Каждый элемент этого множества называют элементарным событием, само множество – пространством элементарных событий. Любое событие А в теоретико-множественной трактовке есть некоторое подмножество множества : . Если же в свою очередь множество А распадается на несколько непересекающихся подмножеств ( при ), то события называют "вариантами" события А. На рис. 2.4 событие А распадается на три варианта: .
Например, при бросании игральной кости пространство элементарных событий . Если событие , то варианты события А: ,
т. е. .
Рис. 2.4. Три варианта события А
А1
А3
А2
А
Подмножеством множества можно рассматривать и само – оно будет в этом случае достоверным событием. Ко всему пространству элементарных событий добавляется еще и пустое множество ; это множество рассматривается тоже как событие, но невозможное.
Теоретико-множественное толкование ранее рассмотренных свойств событий сводится к следующему:
1. Несколько событий образуют полную группу, если , т. е. их сумма (объединение) есть достоверное событие.
2. Два события А и В называются несовместными, если соответствующие им множества не пересекаются, т. е. . Несколько событий называются попарно несовместными, если появление любого из них исключает появление каждого из остальных: при .
3. Суммой двух событий А и В называется событие С, состоящее в выполнении события А или события В, или обоих событий вместе. Суммой нескольких событий называется событие, состоящее в выполнении хотя бы одного из них.
4. Произведением двух событий А и В называется событие D, состоящее в совместном выполнении события А и события В. Произведением нескольких событий называется событие, состоящее в совместном выполнении всех этих событий.
5. Противоположным по отношению к событию А называется событие , состоящее в непоявлении А и соответственно дополняющее событие А до (см. рис. 2.5).
Рис. 2.5. Событие А и противоположное событие
А
На основе изложенного толкования событий как множеств формулируются аксиомы теории вероятностей.
Каждому событию А ставится в соответствие некоторое число, называемое вероятностью события . Поскольку любое событие есть множество, то вероятность события есть функция множества.
Эти вероятности событий должны удовлетворять следующим аксиомам:
1. Вероятность любого события заключена между нулем и единицей:
.
2. Если А и В – несовместные события, т. е. , то
.
Эта аксиома легко обобщается с помощью сочетательного свойства сложения на любое число событий. Если при , то
, (2.1)
т. е. вероятность суммы несовместных событий равна сумме вероятностей этих событий.
Эту аксиому называют "теоремой" сложения (для схемы случаев она может быть доказана), или правилом сложения вероятностей.
3. Если имеется счетное множество несовместных событий ( при ), то
.
Эта аксиома не выводится из предыдущей аксиомы и поэтому формулируется как отдельная.
Для схемы случаев (схемы урн), т. е. для событий, обладающих свойствами полноты, несовместности и равновозможности, можно вывести классическую формулу (1.1) для непосредственного подсчета вероятностей из правила сложения (2.1).
Пусть результаты опыта представляются в виде n несовместных случаев . Случай благоприятен событию А, если он представляет подмножество А (), или, иначе говоря, это вариант события А. Так как образуют полную группу, то
.
Но все случаи несовместны, и к ним применимо правило сложения вероятностей
.
Кроме этого, так как все события равновозможны, то
.
Благоприятные событию случаи образуют его вариантов, и так как вероятность каждого из них равна , то по правилу сложения получаем
.
Но это и есть классическая формула (1.1).
Следствия правила сложения вероятностей
1. Сумма вероятностей полной группы несовместных событий равна единице, т. е. если
при ,
то
.
Доказательство. Так как события несовместны, то к ним применимо правило сложения
.
2. Сумма вероятностей противоположных событий равна единице:
,
так как события А и образуют полную группу.
Правило широко используется в задачах, когда проще вычислить вероятность противоположного события.
3. Если события А и В совместны, т. е. , то
. (2.2)
А
В
АВ
Рис. 2.6. Сумма двух совместных событий
Доказательство. Представим как сумму несовместных (непересекающихся) вариантов (см. рис. 2.6)
.
По правилу сложения
. (2.3)
Но
,
,
откуда получаем
После подстановки полученных выражений в (2.3) имеем
что и требовалось доказать.
Формулу (2.3) можно вывести и для более чем двух совместных событий.
Лекция 3
ЦЕЛЬ ЛЕКЦИИ: определить понятия условной вероятности и независимости событий; построить правило умножения вероятностей; вывести формулу полной вероятности и доказать теорему гипотез.
Условной вероятностью события В при наличии А называется величина
(2.4)
в предположении, что . Значит можно трактовать условную вероятность как вероятность события В, вычисленную при условии, что событие А произошло.
Записав формулу (2.4) в другом порядке, получаем
, (2.5)
что вероятность произведения (пересечения, совмещения) двух событий равна вероятности одного из них, умноженная на условную вероятность второго, при наличии первого. Это так называемое правило (теорема) умножения вероятностей.
Другая запись этого правила имеет вид
. (2.6)
Правило умножения вероятностей легко обобщается на случай произвольного числа событий:
(2.7)
т. е. вероятность произведения нескольких событий равна произведению вероятностей этих событий, причем вероятность каждого последующего события вычисляется при условии, что все предыдущие произошли.
Пример. В урне пять пронумерованных шаров с номерами 1, 2, 3, 4, 5. Из урны один за другим вынимаются все 5 шаров. Найти вероятность того, что их номера будут идти в возрастающем порядке.
Решение. Событие . По формуле (2.7) получаем
.
Событие А называется независимым от события В, если вероятность не зависит от того, произошло В или нет, т. е.
.
Зависимость и независимость событий всегда взаимны: если А зависит от В, то и В зависит от А, и если А не зависит от В, то и В не зависит от А.
Доказательство. Пусть событие А не зависит от В: . Правило умножения запишем в двух формах:
.
Если заменить условную вероятность на "безусловную" , то получим
.
Так как считаем, что , то
.
Полученный результат позволяет дать новое определение независимости событий: два события называются независимыми, если появление одного из них не меняет вероятности появления другого.
Правило умножения вероятностей для независимых событий имеет вид
, (2.8)
т. е. вероятность произведения двух независимых событий равна произведению вероятностей этих событий.
Несколько событий называются независимыми, если любое из них не зависит от любой комбинации (произведения) любого числа других. Для этого случая
, (2.9)
т. е. вероятность произведения нескольких независимых событий равна произведению вероятностей этих событий.
Заметим, что попарная независимость событий еще не означает их независимости в совокупности. Надо помнить, что в основе независимости событий лежит их физическая независимость.
Для решения задач по тории вероятностей можно дать простые рекомендации по использованию правил сложения и умножения вероятностей и привести примеры применения этих правил:
1. Правило сложения и правило умножения вероятностей обычно применяются вместе.
2. Если в задаче противоположное событие распадается на меньшее число вариантов, чем событие А, то при вычислении вероятности переходят к противоположному событию.
Пример 1. Требуется определить число дублирующих приборов с надежностью (как у основного прибора), чтобы надежность системы, состоящей из приборов, была не меньше заданной величины .
Решение. Вероятность безотказной работы такой системы
должна быть не меньше заданной
или .
После логарифмирования имеем
.
Разделив левую и правую части неравенства на отрицательную величину , окончательно получаем
.
Пример 2. Производится независимых опытов, в каждом из которых событие А может появиться с вероятностью . Найти вероятность того, что событие А появится хотя бы один раз.
Решение. Искомая вероятность равна
.
Если , то вероятность того, что событие А появится хотя бы один раз, будет равна
.
Пример. Имеется три одинаковые урны: в первой урне два белых и один черный шар; во второй – три белых и один черный; в третьей – два белых и два черных. Некто выбирает наугад одну из урн и вынимает из нее один шар. Какова вероятность того, что вынутый шар белый?
Проведение опыта возможно только в условиях исключающих друг друга гипотез (в нашем примере это случайный выбор любой из трех урн):
при. (2.10)
Гипотезы составляют полную группу несовместных событий с известными вероятностями появления
.
Рассматривается некоторое событие А, которое может появиться только вместе с одной из гипотез (2.10). Условные вероятности события А по каждой из гипотез заданы:
.
Задача состоит в том, чтобы вычислить вероятность события А. Для этого представим А как сумму несовместных вариантов:
.
По правилу сложения вероятностей несовместных событий получаем
,
а по правилу умножения
,
откуда окончательно имеем
. (2.11)
Таким образом, безусловная вероятность события A в опыте с гипотетическими условиями вычисляется как сумма произведений вероятности каждой гипотезы на условную вероятность события при этой гипотезе.
Выражение (2.11) называется формулой полной вероятности. Она применяется во всех случаях, когда опыт со случайным исходом распадается на два этапа: на первом учитываются условия опыта, а на втором – его результат.
В рассматриваемом примере с урнами есть три гипотезы: – выбор первой урны с шарами; – второй урны; – третьей. Гипотезы представляют собой полную группу несовместных событий. Вероятности гипотез одинаковы и равны
.
Событие появление белого шара. Условные вероятности события A по каждой из гипотез соответственно равны
.
По формуле (2.11) получаем, что вероятность вынуть белый шар равна
.
Пример. Два стрелка независимо друг от друга стреляют по одной мишени, делая по одному выстрелу. Вероятность попадания в мишень первого стрелка равна , а второго – . После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что попал первый стрелок.
До опыта о его возможных результатах можно сделать ряд гипотез (предположений) , представляющих собой полную группу несовместных событий:
при .
Вероятности гипотез до опыта – априорные (до опытные) вероятности – заданы и равны:
.
Если же опыт произведен и в результате появилось некоторое событие A, то вероятности гипотез меняются. Задача состоит в том, чтобы найти апостериорные (после опытные) вероятности гипотез при условии, что опыт дал результат – появилось событие А:
.
Для решения задачи возьмем любую гипотезу и вычислим вероятность произведения событий по правилу умножения в двух формах:
.
Отсюда имеем
.
Но так как по формуле полной вероятности , то окончательно получаем
. (2.12)
Выражение (2.12) называется формулой Байеса. Она позволяет пересчитать вероятности гипотез в свете новой информации, состоящей в том, что опыт дал результат – событие А.
В рассматриваемом примере до стрельбы о результатах стрельб можно высказать четыре несовместные гипотезы:
оба стрелка не попадут в мишень
попадет только первый стрелок
попадет только второй стрелок
оба стрелка попадут в мишень
Вероятности этих гипотез соответственно равны:
.
Сумма этих вероятностей . Условные вероятности события A – в мишени одна пробоина – по всем четырем гипотезам:
После подстановки полученных вероятностей в формулу (2.11) получаем апостериорную вероятность второй гипотезы
.
ЧАСТЬ 3
ПОСЛЕДОВАТЕЛЬНОСТЬ НЕЗАВИСИМЫХ ИСПЫТАНИЙ
Лекция 4
ЦЕЛЬ ЛЕКЦИИ: ввести понятие независимого испытания и доказать формулу Бернулли; сформулировать асимптотические теоремы Муавра – Лапласа и Пуассона и указать границы их применимости.
При практических применениях теории вероятностей часто встречаются задачи, в которых один и тот же опыт или аналогичные опыты повторяются неоднократно. В результате каждого опыта может появиться или не появиться некоторое событие А. При этом нас интересует не результат каждого отдельного опыта, а общее число появлений события А в результате серии опытов. Например, если производится несколько выстрелов по одной и той же цели, то представляет интерес, как правило, не результат каждого выстрела, а общее число попаданий. В подобных задачах требуется определить вероятность любого заданного числа появлений события в результате серии опытов. Такие задачи решаются достаточно просто в случае, когда опыты являются независимыми.
Независимые испытания
Несколько опытов считаются независимыми, если вероятность того или иного исхода каждого из опытов не зависит от того, какие результаты имели другие опыты, например несколько последовательных бросаний монеты, несколько выниманий карты из колоды при условии ее возврата в колоду и перемешивания.
Независимые испытания могут проводиться как в одинаковых, так и в различных условиях. В первом случае вероятность события А во всех опытах одна и та же, и к нему относится частная теорема о повторении опытов. Во втором случае вероятность события А от опыта к опыту меняется – общая теорема о повторении опытов.
Пример. Производятся три независимых выстрела по мишени с вероятностью попадания при каждом выстреле. Найти вероятность ровно двух попаданий при трех выстрелах.
Решение. Событие в мишени ровно два попадания может произойти тремя способами:
1) попаданием в первом и втором выстрелах, промахом в третьем;
2) попаданием в первом и третьем выстрелах, промахом во втором;
3) попаданием во втором и третьем выстрелах, промахом в первом.
Событие есть сумма трех несовместных вариантов:
,
где – попадание в -м выстреле, – промах.
Учитывая, что все три варианта события несовместны, а события, входящие в произведения, независимы, по правилам сложения и умножения вероятностей
.
Обозначив , получаем
.
Аналогичным образом, перечисляя все возможные варианты, в которых интересующее нас событие может появиться заданное число раз, можно решить более общую задачу.
Формула Бернулли
Проводится независимых опытов, в каждом из которых может появиться или не появиться некоторое событие А, вероятность появления равна , а не появления – . Требуется найти вероятность того, что событие А в этих опытах появится ровно раз.
Событие – появление А ровно раз – разложим на сумму произведений событий, состоящих в появлении или непоявлении А в отдельном опыте ( и ). Каждый вариант события (каждый член суммы) должен состоять из появлений А и непоявлений, т. е.
,
причем А входит в каждое слагаемое раз, а – раз.
Число комбинаций такого рода равно . Вероятность каждой такой комбинации по теореме умножения для независимых событий равна . Так как варианты между собой несовместны, то по теореме сложения вероятность события имеем
.
Таким образом, можно сформулировать частную теорему о повторении опытов. Если производится независимых опытов, в каждом из которых событие А может появиться с вероятностью , то вероятность того, что событие А появится ровно раз, равна
. (3.1)
Соотношение (3.1) называется формулой Бернулли и описывает, как распределяются вероятности между возможными значениями некоторой случайной величины – числа появлений события А в испытаниях. Так как вероятности по форме представляют собой члены разложения бинома , то распределение вероятностей (3.1) называется биноминальным распределением.
В связи с тем что все возможные несовместные между собой исходы испытаний состоят в появлении события А 0 раз, 1 раз, 2 раза, …, раз, то понятно, что
.
Этот же результат может быть получен без учета теоретико-вероятностных соображений из равенства
.
Во многих практических задачах, кроме вероятности – появления события А ровно раз, необходимо найти вероятность появлений события А не менее . Для этого обозначим через событие, состоящее в появлении события А не менее раз, а его вероятность обозначим через . Очевидно, что
,
откуда по теореме сложения
,
т. е.
. (3.2)
При вычислении часто удобнее не использовать соотношение (3.2), а перейти к противоположному событию и вычислять вероятность по формуле
.
Локальная и интегральная предельные теоремы
Рассмотрим пример, относящийся к независимым испытаниям, не доводя до конца вычисление искомых вероятностей.
Пример. По каналу связи передано сообщение, состоящее из 1000 нулей и единиц. Вероятности передачи как единицы, так и нуля одинаковы и равны 0,5. Найти вероятность того, что из 1000 переданных двоичных цифр число нулей окажется: а) ровно 500; б) не более 520.
Решение. В примере , , , и поэтому:
а) число нулей окажется равным 500:
; (3.3)
б) вероятность того, что число нулей окажется не более 520, равна сумме вероятностей, что число нулей окажется равным 0, 1, 2, …, 520, т. е.
. (3.4)
Пример показывает, что непосредственное вычисление вероятностей по формулам (3.3) и (3.4) весьма трудоемко, и возникает задача нахождения простых приближенных формул для вычислений вероятностей и при больших .
Исследуем поведение вероятностей при постоянном в зависимости от . Для получаем
. (3.5)
Из выражения (3.5) следует, что:
, если , т. е. ;
, если ;
, если .
Видим, что с ростом вероятность сначала возрастает, затем достигает максимума и наконец убывает. При этом если величина является целым числом, то максимального значения вероятность достигает при двух значениях : и . Если же не является целым, то максимального значения вероятность достигает при , равном наименьшему целому числу, большему, чем .
Если , то
.
При
.
Оказалось, что при больших почти все вероятности очень малы. И только для близких к вероятнейшему значению вероятности сколько-нибудь заметно отличаются от нуля. Такое поведение вероятности при больших и лежит в основе локальной и интегральной теорем Муавра – Лапласа.
Впервые асимптотическую формулу, облегчающую вычисление при больших , нашел Муавр в 1730 г. для частного случая при , а затем обобщил Лаплас для произвольного , отличного от 0 и 1.
Вводится обозначение
,
т. е. величина x зависит как от и , так и от .
Локальная теорема Муавра – Лапласа (без доказательства). Если вероятность наступления некоторого события А в независимых испытаниях постоянна и равна , то вероятность того, что в этих испытаниях событие А наступит ровно раз, удовлетворяет соотношению
. (3.6)
Теперь решим задачу а) рассматриваемого примера, используя соотношение (3.6). Нужно найти при , и .
По формуле (3.6) имеем
.
Для нашего примера получаем и соответственно
.
Функция табулирована (см. прил. 1). Так как значение , то окончательно получаем
.
Точные подсчеты по формуле Бернулли (3.1) дают
.
Интегральная теорема Муавра – Лапласа (без доказательства). Если есть число наступлений события А в независимых испытаниях, в каждом из которых вероятность этого события равна , причем , то равномерно относительно и имеет место соотношение
. (3.7)
Решение задачи б) при использовании формулы (3.7) требует умения вычислять значение интеграла Лапласа
(3.8)
при любых значениях . Так как интеграл (3.8) при через элементарные функции не выражается, то для вычислений интеграла Лапласа требуются специальные таблицы (прил. 2).
Интеграл
0
Рис. 3.1. Интеграл Лапласа
x
вычисляем через значения функции , причем в приложении 2 приведены значения только для положительных , так как интеграл Лапласа является нечетной функцией, для которой выполняется условие, что (см. рис. 3.1).
Теперь решим задачу б) рассматриваемого примера, используя соотношение (3.7).
После подстановки значений получаем
Значение , так как уже величина (прил. 2).
Типичная задача, приводящая к интегральной теореме Муавра – Лапласа. Проводится независимых испытаний, в каждом из которых вероятность наступления события А равна . Чему равна вероятность того, что частота наступления события А отклонится от вероятности не более чем на ?
Решение. Искомая вероятность равна
Естественно, что в задачах, относящихся к определению вероятностей при конечных и асимптотическими формулами Муавра – Лапласа, требуется производить оценку совершаемой при этом ошибки. В течение очень долгого времени теоремы Муавра – Лапласа применялись к решению подобного рода задач без сколько-нибудь удовлетворительной оценки остаточного члена. Создалась чисто эмпирическая уверенность, что при порядка нескольких сотен или еще больше и , не слишком близких к 0 и 1, использование теорем Муавра – Лапласа приводит к удовлетворительным результатам. В настоящее время существуют достаточно хорошие оценки погрешностей, совершаемых при употреблении асимптотических формул Муавра – Лапласа.
Терема Пуассона
Было замечено, что асимптотическое представление вероятности посредством функции получается тем хуже, чем больше отличается от , т. е. чем меньшее или приходится рассматривать. Однако значительное количество задач связано с необходимостью вычислять вероятности именно при малых . То есть, чтобы теорема Муавра – Лапласа дала приемлемый результат, необходимо произвести очень большое число независимых испытаний. Задача нахождения асимптотической формулы вычисления вероятностей при малых решена теоремой Пуассона.
Теорема Пуассона. Если , то вероятность ровно положительных исходов при испытаниях равна
, (3.9)
где .
Пример. Из одной ЭВМ на другую необходимо передать файл объемом 8 000 символов. Вероятность ошибки при передаче символа равна 0,001. Найти вероятность того, что будет не менее двух ошибок при передаче файла.
Решение. Считая передачу каждого символа как испытание, а ошибку как событие, можно вычислить вероятность , используя формулу (3.9) при
Вычисление по точной формуле (3.1) дает
,
т. е. ошибка меньше 0,001 %.
Практические соображения по применению теоремы Пуассона:
.
ЧАСТЬ 4
СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Лекция 5
ЦЕЛЬ ЛЕКЦИИ: ввести понятие случайной величины и закона распределения; для дискретной случайной величины определить ряд распределения; ввести понятие функции распределения и плотности распределения вероятностей и определить их свойства.
Под случайной величиной понимается величина, которая в результате опыта со случайным исходом принимает то или иное значение. Возможные значения случайной величины образуют множество , которое называют множеством возможных значений случайной величины.
Пример 1. Для игральной кости случайной величиной Х будет число выпавших очков. Множество возможных значений .
Пример 2. Тестирование изделия до появления первого исправного. Случайная величина Y – число тестов, которое будет произведено. Множество возможных значений бесконечное, но счетное.
Впредь случайную величину будем обозначать большими буквами, например Х, а их возможные значения – малыми; в приведенных примерах – и .
Случайные величины могут быть дискретными и недискретными. В теоретико-множественной трактовке основных понятий теории вероятностей случайная величина Х есть функция элементарного события , где – элементарное событие, принадлежащее пространству . При этом множество возможных значений случайной величины состоит из тех значений, которые принимает функция . Если множество счетное или конечное, то случайная величина Х называется дискретной, если несчетное – недискретной. При этом случайные величины могут иметь различные распределения.
Законом распределения случайной величины называется любое правило (таблица, функция), позволяющее находить вероятности всевозможных событий, связанных со случайной величиной.
Рядом распределения дискретной случайной величины Х называется таблица, в верхней строке которой перечислены в порядке возрастания все возможные значения случайной величины а в нижней – вероятности этих значений: При этом – вероятность того, что в результате опыта случайная величина Х примет значение .
Ряд распределения записывается в виде таблицы
|
Х: |
… |
… |
||||
|
… |
… |
. |
(4.1)
События ; ; … несовместны и образуют полную группу, поэтому сумма всех вероятностей в (4.1) будет равна единице:
. (4.2)
Отсюда следует, что единица распределена между возможными значениями случайной величины.
Пример. Ряд распределения случайной величины Х
|
Х: |
0 |
1 |
2 |
3 |
|
|
0,24 |
0,46 |
0,26 |
0,04 |
. |
(4.3)
Графическое изображение ряда распределения называется многоугольником распределения.
Строится он так: для каждого возможного значения случайной величины восстанавливается перпендикуляр к оси абсцисс, на котором откладывается вероятность данного значения случайной величины. Полученные точки для наглядности соединяются отрезками прямых (см. рис. 4.1).
рi
xi
0
1
2
3
Рис. 4.1. Многоугольник распределения
x1
x2
x3
x4
Рис. 4.2. Механическая интерпретация ряда распределения
Кроме этой геометрической интерпретации, часто полезна механическая интерпретация, при которой ряд распределения рассматривается как ряд материальных точек на оси абсцисс, имеющих значения , и соответственно массы в сумме составляющие единицу (см. рис. 4.2).
Функция распределения
Наиболее общей формой закона распределения, пригодной как для дискретных, так и недискретных случайных величин, является функция распределения.
Функцией распределения случайной величины Х называется вероятность того, что она примет значение меньшее, чем заданное х (аргумент функции)
. (4.4)
Геометрически определение (4.4) интерпретируется как вероятность того, что случайная точка попадает левее заданной точки (см. рис. 4.3).
0
x
Рис. 4.3. Геометрическая интерпретация функции распределения
Рис. 4.4. Свойства функции распределения
x2
x1
0
Свойства функции распределения выводятся из геометрической интерпретации (см. рис. 4.3–4.4):
1. – неубывающая функция своего аргумента, т. е. если , то .
Для доказательства представим событие как сумму двух несовместных событий (см. рис. 4.4)
,
где
.
По правилу сложения вероятностей
;
.
Учитывая выражение (4.4), получаем
, (4.5)
но так как , то окончательно имеем, что
.
2. ; .
Перемещая до бесконечности влево (при ) или вправо (при ), можно убедиться, что событие становится либо невозможным , либо достоверным .
Функция распределения любой случайной величины есть неубывающая функция своего аргумента, значения которой заключены между нулем и единицей; причем , а . В отдельных точках эта функция может иметь скачки (разрывы первого рода), на некоторых участках она может быть постоянной, на других – монотонно возрастать (см. рис. 4.5).
С помощью функции распределения можно вычислить вероятность попадания случайной точки на участок от до . Для определенности левый конец участка будем включать в него, а правый – нет.
Искомую вероятность получаем из выражения (4.5), положив и ,
,
откуда
. (4.6)
3
0
х
Рис. 4.5. Функция распределения
Рис. 4.6. Вероятность попадания на участок
x
Таким образом, вероятность того, что случайная величина Х в результате опыта попадет на участок от до (включая ), равна приращению функции распределения на этом участке (см. рис. 4.6). Другая запись выражения (4.6)
,
где квадратная скобка означает, что данный конец включается в участок, а круглая – что не включается.
Вероятность отдельного значения случайной величины. Если взять любую точку и примыкающий к ней участок , то, приближая к , в пределе получаем
. (4.7)
Значение этого предела зависит от того, непрерывна ли функция в точке или терпит разрыв. Если функция в точке совершает скачок, то предел (4.7) равен величине этого скачка. Если же везде непрерывна, то вероятность каждого отдельного значения случайной величины Х равна нулю. Последнее утверждение не означает, что событие невозможно; оно возможно, но с нулевой вероятностью.
Функция распределения дискретной
случайной величины
Для случайной величины Х, представленной рядом распределения
|
Х : |
0 |
1 |
2 |
3 |
|
|
0,24 |
0,46 |
0,26 |
0,04 |
, |
можно, задаваясь различными значениями х, вычислить функцию распределения :
;
;
;
;
.
0
1
2
4
х
1
Рис. 4.7. Функция распределения дискретной случайной величины
0,5
На рис. 4.7 приведена рассчитанная функция распределения . Жирными точками отмечены значения в точках разрыва; функция при подходе к точке разрыва слева сохраняет свое значение (функция "непрерывна слева"). Заметим, что между скачками функция постоянна.
Функция распределения любой дискретной случайной величины есть разрывная ступенчатая функция, скачки которой происходят в точках, соответствующих возможным значениям случайной величины, и равны вероятностям этих значений. Сумма всех скачков функции распределения равна единице.
Индикатор события. Индикатором события А называется случайная величина , равная единице, если в результате опыта событие А произошло, и – нулю, если не произошло:
Ряд распределения случайной величины с вероятностью события А, равной , имеет вид
|
: |
0 |
1 |
|
|
. |
Рис. 4.9. Многоугольник распределения индикатора событий
0
1
pi
ui
1–p
p
0
1
u
1–p
Рис. 4.10. Функция распределения индикатора событий
1
Многоугольник распределения случайной величины приведен на рис. 4.9, а функция распределения – на рис. 4.10.
Непрерывная случайная величина.
Плотность распределения
0
1
х
Рис. 4.11. Функция распределения непрерывной случайной величины
Случайная величина Х называется непрерывной, если функция распределения не только непрерывна в любой точке, но и дифференцируема всюду, кроме, может быть, отдельных точек, где она терпит излом (см. рис. 4.11). Так как скачков эта функция не имеет, то вероятность любого отдельного значения непрерывной случайной величины равна нулю, т. е.
.
Поэтому говорить о распределении вероятностей отдельных значений не имеет смысла. В качестве закона распределения непрерывных случайных величин вводится понятие плотности распределения вероятностей или плотности распределения.
Исходим из механической интерпретации распределения вероятностей. Для дискретной случайной величины Х в точках сосредоточены массы , сумма которых равна единице. Для непрерывной случайной величины масса, равная 1, "размазана" по числовой оси с непрерывной в общем случае плотностью (см. рис. 4.12). Вероятность попадания случайной величины Х на любой участок может быть интерпретирована как масса, приходящаяся на этот участок, а средняя плотность на этом участке – как отношение массы к его длине. Для участка
.
Но вероятность определяется как приращение функции распределения на этом участке
х
0
Рис. 4.12. Плотность распределения вероятностей
х
,
и, переходя к пределу при , получаем плотность в точке
,
т. е. производную функции распределения.
Плотностью распределения непрерывной случайной величины Х в точке х называется производная ее функции распределения в этой точке
. (4.8)
Плотность распределения, как и функция распределения , является одной из форм закона распределения, но она существует только для непрерывных случайных величин. График плотности распределения называется кривой распределения (см. рис. 4.13).
0
х
Рис. 4.14. Вероятность попадания на участок
0
х
Рис. 4.13. Кривая распределения
х
Вероятность попадания случайной величины Х на участок с точностью до бесконечно малых высших порядков равна . Эта величина называется элементом вероятности и геометрически равна (приближенно) площади элементарного прямоугольника, опирающегося на отрезок длиной и примыкающего к точке (см. рис. 4.13).
Вероятность попадания случайной величины Х на участок от до равна сумме элементов вероятности на всем этом участке, т. е. интегралу вида
. (4.9)
В геометрической интерпретации эта вероятность равна площади фигуры, ограниченной сверху кривой распределения и опирающейся на участок (см. рис. 4.14). Функция распределения теперь может быть вычислена следующим образом:
. (4.10)
Геометрически (см. рис. 4.14) – это площадь, ограниченная сверху кривой распределения и лежащая левее точки .
Свойства плотности распределения.
1. Плотность распределения – неотрицательная функция
,
как производная от неубывающей функции, и еще потому, что плотность, как физическая величина, не может быть отрицательной.
2. Интеграл в бесконечных пределах от плотности вероятности равен единице, т. е.
. (4.11)
Это свойство вытекает из выражения (4.10), если верхний предел будет и если учесть, что .
Лекция 6
ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики положения и моменты непрерывных и дискретных случайных величин.
Числовые характеристики положения
Закон распределения полностью описывает случайную величину с вероятностной точки зрения. Но часто достаточно указать только отдельные числовые параметры, которые позволяют в сжатой форме выразить наиболее существенные черты распределения. Такие параметры называются числовыми характеристиками случайной величины.
Среди числовых характеристик можно выделить характеристики положения, т. е. некие средние, ориентировочные значения случайной величины, около которых группируются ее возможные значения.
Математическое ожидание. Из характеристик положения наибольшую роль играет математическое ожидание, которое иногда называют просто средним значением.
Определим математическое ожидание исходя из механической интерпретации распределения случайной величины. Если считать, что единичная масса распределена между точками на оси абсцисс со значениями (см. рис. 4.2), то центр масс такой системы материальных точек будет иметь координату :
, но ,
тогда
. (4.12)
Это среднее взвешенное значение случайной величины , в которое координата каждой точки входит с "весом", равным соответствующей вероятности, и называется математическим ожиданием.
Математическим ожиданием дискретной случайной величины называется сумма произведений всевозможных ее значений на вероятности этих значений.
В том случае, когда ,
.
Но бесконечная сумма может и расходиться, т. е. соответствующая случайная величина не будет иметь математического ожидания.
Пример. Случайная величина , заданная рядом распределения
|
Х: |
2 |
… |
… |
|||||
|
… |
… |
, |
имеет расходящееся математическое ожидание, так как
,
и, значит, у такой случайной величины математического ожидания не существует.
При переходе к непрерывной случайной величине необходимо в формуле (4.12) заменить суммирование интегрированием, а вероятность – элементом вероятности:
. (4.13)
Область интегрирования определяется областью существования функции .
Для смешанной случайной величины можно записать, что
,
где сумма распространяется на все значения , имеющие отличные от нуля вероятности, а интеграл на все участки, где функция распределения непрерывна; множество участков непрерывности обозначено через .
Пользуясь интегралом Стилтьеса, можно записать выражение для математического ожидания любой случайной величины через ее функцию распределения в виде
.
0
рi
xi
Рис. 4.15. Мода дискретной случайной величины
0
х
Рис. 4.16. Мода непрерывной случайной величины
Мода. Следующая характеристика положения – это мода. Модой случайной величины называют ее наиболее вероятное значение, т. е. то, для которого вероятность или плотность распределения достигают максимума. Моду обычно обозначают через . Если многоугольник вероятности или плотность распределения достигают максимума в нескольких точках, то такие распределения называют полимодальными (см. рис. 4.16).
Медиана. Еще одна характеристика положения непрерывных случайных величин. Медианой непрерывной случайной величины называется такое ее значение , для которого
,
т. е. одинаково вероятно, окажется ли случайная величина меньше или больше .
Геометрически медиана – это координата той точки на оси , для которой площади, лежащие слева и справа от нее, одинаковы и равны по (см. рис. 4.17). Для симметричных распределений математическое ожидание, мода и медиана совпадают.
0
х
Рис. 4.17. Медиана непрерывного распределения
Моменты. Дисперсия и среднее квадратичное
отклонение
Другие числовые параметры случайных величин характеризуют различные особенности распределения. Особое значение имеют начальные и центральные моменты.
Начальным моментом -го порядка случайной величины называется математическое ожидание -й степени этой величины:
.
Для дискретной случайной величины начальный момент -го порядка определяется суммой
,
где – возможные значения случайной величины , – соответствующие вероятности.
Для непрерывной случайной величины по аналогии имеем
,
где – плотность распределения.
Необходимо отметить, что ранее введенная характеристика положения – математическое ожидание случайной величины – есть не что иное, как первый начальный момент, т. е. .
Центрированной случайной величиной называется отклонение случайной величины от ее математического ожидания
.
Очевидно, что математическое ожидание центрированной случайной величины равно нулю:
.
Аналогично и для непрерывной случайной величины.
Центрирование случайной величины равносильно переносу начала отсчета в точку . Моменты центрированной случайной величины называются центральными моментами. Они аналогичны моментам относительно центра масс в механике.
Центральным моментом -го порядка случайной величины называют математическое ожидание -й степени центрированной случайной величины:
.
При этом для дискретной случайной величины получаем
,
а для непрерывной
.
Для любой случайной величины центральный момент 1-го порядка равен нулю:
.
Центральные и начальные моменты связаны между собой. Так, для моментов второго порядка
.
Аналогично для третьего порядка
.
Особое значение имеет второй центральный момент , который называется дисперсией случайной величины:
; .
Дисперсия случайной величины есть математическое ожидание квадрата соответствующей центрированной величины. Для вычисления дисперсии служат формулы:
;
;
.
Дисперсия случайной величины равна математическому ожиданию ее квадрата минус квадрат математического ожидания.
Дисперсия случайной величины характеризует рассеяние, разбросанность случайной величины около ее математического ожидания. Само слово дисперсия означает "рассеяние".
Дисперсия имеет размерность квадрата случайной величины, и поэтому часто используется среднее квадратичное отклонение
.
Для неотрицательной случайной величины в качестве характеристики "степени ее случайности" иногда применяют коэффициент вариации
.
Таким образом, основные числовые характеристики случайной величины – математическое ожидание, дисперсия и среднее квадратичное отклонение. Они характеризуют как положение случайной величины, так и степень ее разбросанности. Для них очевидны следующие свойства:
1. Математическое ожидание неслучайной величины С равно самой неслучайной величине С:
.
2. Дисперсия неслучайной величины С равна нулю, так как у такой величины нулевое рассеивание
.
3. При прибавлении к случайной величине Х неслучайной величины С к ее математическому ожиданию прибавляется та же величина:
.
4. При прибавлении к случайной величине Х неслучайной величины С ее дисперсия не изменяется:
.
5. При умножении случайной величины Х на неслучайную величину С на ту же величину умножается ее математическое ожидание:
.
6. При умножении случайной величины Х на неслучайную величину С ее дисперсия умножается на :
.
7. При умножении случайной величины Х на неслучайную величину С ее среднее квадратичное отклонение умножается на модуль :
.
Третий центральный момент служит для характеристики асимметрии ("скошенности") распределения. Для симметричных относительно математического ожидания распределений все нечетные центральные моменты равны нулю:
,
так как каждому положительному слагаемому соответствует равное по модулю отрицательное.
Третий центральный момент имеет размерность куба случайной величины, и для получения безразмерной характеристики – коэффициента асимметрии – делят на :
, show – "косой".
Рис. 4.18. Плотности распределения с различными эксцессами
εX=0
f(x)
x
εX>0
εX<0
f2(x)
f1(x)
Рис. 4.17. Плотности распределения с различными коэффициентами асимметрии
На рис. 4.17 приведены две плотности распределения: у положительный коэффициент асимметрии, а у – отрицательный.
Четвертый центральный момент характеризует островершинность ("крутость") распределения. Это свойство определяется с помощью так называемого эксцесса
.
За норму выбирается нормальное распределение, у которого отношение и соответственно эксцесс равен нулю. Поэтому распределения более островерхие, чем нормальное, имеют положительный эксцесс, а менее островерхие (плосковерхие) – отрицательный (см. рис. 4.18).
Лекция 7
ЦЕЛЬ ЛЕКЦИИ: определить производящую функцию и вычислить параметры биномиального, пуассоновского, геометрического и гипергеометрического распределений; ввести понятие потока событий и сформулировать условия, необходимые для существования пуассоновского потока.
Производящая функция
Пусть имеется случайная величина , принимающая неотрицательные целочисленные значения с вероятностями , где .
Производящей функцией для случайной величины называется функция вида
, (4.14)
где – аргумент функции .
Коэффициенты при равны вероятностям того, что случайная величина примет значение . В случае, когда число возможных значений конечно , выражение (4.14) сохраняет силу, так как при все вероятности обращаются в нуль. При
.
Если взять первую производную по от производящей функции, то
.
При получаем
.
Но это математическое ожидание случайной величины , т. е. математическое ожидание неотрицательной целочисленной случайной величины равно первой производной ее производящей функции при .
Возьмем вторую производную производящей функции
.
При имеем
.
Первая сумма – это второй начальный момент случайной величины , а вторая – ее математическое ожидание, откуда получаем
,
т. е. второй начальный момент случайной величины равен сумме второй и первой производных производящей функции при .
Аналогично, взяв третью производную, получаем при
.
Таким образом, в случае необходимости можно выразить начальные моменты более высокого порядка через моменты более низкого.
Биноминальное распределение
Дискретная случайная величина имеет биноминальное распределение, если ее возможные значения имеют соответствующие вероятности:
, (4.15)
где .
Биноминальное распределение (4.15) зависит от двух параметров, и . Это распределение случайной величины – числа появления события в независимых испытаниях, в каждом из которых событие может наступить с вероятностью .
Для определения числовых характеристик случайной величины , распределенной по биноминальному закону, найдем ее производящую функцию
. (4.16)
Для нахождения математического ожидания продифференцируем (4.16)
и при получаем
.
Таким образом, математическое ожидание случайной величины , распределенной по биноминальному закону, будет равно
.
Аналогично вычисляем вторую производную:
,
при имеем
.
Второй начальный момент
,
а дисперсия случайной величины , распределенной по биноминальному закону, будет иметь вид
.
Таким образом, получили
; ; . (4.17)
Распределение Пуассона
Дискретная случайная величина имеет распределение Пуассона, если ее возможные значения (бесконечное, но счетное множество) имеют соответствующие вероятности:
. (4.18)
Распределение Пуассона зависит лишь от одного параметра , который является одновременно и математическим ожиданием, и дисперсией случайной величины . Для доказательства этого утверждения запишем производящую функцию в виде
.
Учитывая, что, получаем
. (4.19)
Первая производная производящей функции при равна математическому ожиданию случайной величины:
.
Вторая производная при будет равна , а второй начальный момент . И наконец, дисперсия случайной величины
.
Пуассоновское распределение является предельным случаем биноминального, когда число независимых опытов неограниченно возрастает и одновременно вероятность (успех в каждом опыте) неограниченно уменьшается, при этом произведение в пределе становится равным :
Из предельного свойства следует, что распределение Пуассона с параметром можно применять вместо биноминального, когда число опытов очень велико, а вероятность очень мала, т. е. в каждом отдельном опыте событие наступает крайне редко. Поэтому распределение Пуассона часто называют "законом редких событий".
Простейший поток событий
Рассматривается следующая задача: на временной оси случайным образом возникают точки – моменты появления каких-то однородных событий, например телефонных вызовов или обращений к серверу. Последовательность таких моментов (вызовов) называют потоком событий. Хотя потоки могут быть самыми различными, предположим, что некий поток обладает следующими свойствами.
Стационарность. Это свойство означает, что вероятность попадания того или иного числа событий на временной интервал не зависит от того, где расположен этот участок, а зависит только от длины интервала , т. е. среднее число событий, появляющихся в единицу времени, постоянно. Обозначают его через и называют интенсивностью потока.
Ординарность. Это свойство означает, что события возникают по одному. Поэтому ординарность потока выражается в том, что вероятность попадания на малый участок двух и более событий пренебрежимо мала по сравнению с вероятностью попадания на него только одного события (это может быть только при малых ). Другими словами, при вероятность попадания на этот участок более одного события – бесконечно малая величина более высокого порядка малости, чем вероятность попадания на участок ровно одного события.
Отсутствие последействия. Свойство означает, что вероятность попадания того или иного числа событий на заданный участок оси не зависит от того, сколько событий попало на любой другой, не перекрывающийся с ним участок. Иначе будущее потока не зависит от его прошлого.
Потоки, обладающие этими тремя свойствами, называются простейшими потоками событий. Простейший поток тесно связан с распределением Пуассона и поэтому часто называется стационарным пуассоновским потоком.
Возьмем на оси временной интервал и докажем, что случайная величина – число событий, попадающих на этот участок, имеет распределение Пуассона.
t
0
Рис. 4.19. Поток событий
Участок разделим на равных частей длиной (см. рис. 4.19). Математическое ожидание (среднее значение) числа событий, попадающих на участок , будет равен , где – интенсивность потока. Согласно свойству ординарности считаем, что на участок попадает не более одного события. Сам факт попадания (или непопадания) события на участок опишем с помощью индикатора событий
.
Ряд распределения случайной величины
|
: |
0 |
1 |
|
позволяет вычислить математическое ожидание
,
где – вероятность того, что участок занят.
Среднее значение равно математическому ожиданию числа событий, попадающих на участок , т. е. получаем
.
Появление события на любом из участков можно рассматривать как независимые опыты (отсутствие последействия) с вероятностью появления (положительного исхода) . В этом случае число занятых элементарных участков на интервале – это случайная величина , имеющая биноминальное распределение:
.
При неограниченном увеличении числа элементарных участков (при ) вероятность того, что на участок попадет ровно событий, будет равна
.
Но поскольку при и биноминальное распределение стремится к пуассоновскому с параметром , то окончательно получаем
.
Стационарность потока не является обязательным для того, чтобы число событий, попадающих на участок , имело распределение Пуассона. Если интенсивность потока не постоянна, а зависит от времени (), то случайная величина – попадание ровно событий на участок длиной , начинающийся в точке и оканчивающийся в точке , имеет также распределение Пуассона
; .
Геометрическое распределение
Дискретная случайная величина имеет геометрическое распределение, если ее возможные значения (бесконечное, но счетное множество) имеют вероятности:
, для , (4.20)
где .
Вероятности для последовательных значений образуют геометрическую прогрессию с первым членом и знаменателем .
На практике геометрическое распределение появляется при независимых испытаниях с целью получения положительного результата – наступления события , вероятность появления которого равна . Случайная величина – число неудачных попыток – имеет геометрическое распределение (4.20). В этом случае имеем:
;
.
Ряд распределения:
|
: |
0 |
1 |
2 |
|||
|
. |
Определим числовые характеристики случайной величины , имеющей геометрическое распределение, используя производящую функцию
.
Суммируя члены бесконечно убывающей геометрической прогрессии со знаменателем , получаем
. (4.21)
Продифференцировав по производящую функцию (4.21), получаем
.
Значит,
.
Вторая производная при равна
.
Отсюда находим второй начальный момент случайной величины :
.
Дисперсию и среднее квадратичное отклонение случайной величины вычисляем по формулам:
; .
Гипергеометрическое распределение
Дискретная случайная величина имеет гипергеометрическое распределение с параметрами , если ее возможные значения имеют вероятности:
, для .
Модель этого распределения такова: имеется урна, в которой белых и черных шаров; из урны вынимается шаров. Случайная величина – это число белых шаров среди вынутых.
Важнейшие числовые характеристики случайной величины , имеющей гипергеометрическое распределение (без вывода),
(4.22)
. (4.23)
При шаров так много, что вероятность достать из урны один белый шар не изменяется при вынимании из урны шаров любого цвета. В этом случае гипергеометрическое распределение можно аппроксимировать биноминальным распределением с параметрами и . Из (4.22–4.23) получаем математическое ожидание и дисперсию в виде
,
где – вероятность достать один черный шар.
Лекция 8
ЦЕЛЬ ЛЕКЦИИ: определить функции плотности и числовые характеристики случайных величин, имеющих равномерное, показательное, нормальное и гамма-распределение.
Равномерное распределение
Непрерывная случайная величина имеет равномерное распределение на участке от до , если ее плотность распределения на этом участке постоянна:
(4.24)
В дальнейшем для непрерывных случайных величин выражение для плотности записывается только для тех участков, где она отлична от нуля:
.
Рис. 4.19. Кривая равномерного распределения
mX
Значения в крайних точках и промежутка не указываются, так как вероятность попадания в любую из этих точек равна нулю. Кривая распределения приведена на рис. 4.19. Иногда это распределение называют прямоугольным. Математическое ожидание случайной величины равно середине участка :
.
Этот же результат можно получить, вычисляя интеграл вида
.
Дисперсия и среднее квадратичное отклонение равны:
;
.
Моды равномерное распределение не имеет. Медиана равна математическому ожиданию, так как равномерное распределение симметрично относительно математического ожидания. Из этого же свойства следует, что третий центральный момент тоже равен нулю ().
Для определения эксцесса вычислим четвертый центральный момент:
.
Таким образом, эксцесс случайной величины равен
.
Рис. 4.20. Вероятность попадания на участок
Рис. 4.21. Функция распределения
Следовало ожидать, что эксцесс этой случайной величины будет отрицательным.
Вычислить вероятность попадания случайной величины на любую часть участка можно путем геометрических представлений (см. рис. 4.20):
.
Функция распределения является функцией, линейно взрастающей от нуля до единицы, при изменении аргумента от до . При любом функция распределения равна площади, ограниченной кривой распределения и лежащей левее точки (см. рис. 4.20).
.
Моделью равномерного распределения является гармоническое колебание со случайной начальной фазой
,
где – частота, а начальная фаза является непрерывной случайной величиной с равномерным законом распределения:
.
Показательное распределение
Непрерывная случайная величина имеет показательное (экспоненциальное) распределение, если ее плотность распределения имеет вид
,
или
, (4.25)
где – единственный параметр распределения.
Функция распределения:
. (4.26)
Рис. 4.22. Плотность распределения
Рис. 4.23. Функция распределения
1
Математическое ожидание показательного распределения:
. (4.27)
При интегрировании по частям необходимо учесть, что при стремится к нулю быстрее, чем возрастает любая степень .
Выражение (4.27) показывает, что математическое ожидание случайной величины, имеющей показательное распределение, обратно его параметру . При этом параметр имеет размерность, обратную размерности случайной величины .
Дисперсия и среднее квадратичное отклонение:
, . (4.28)
Среднее квадратичное отклонение случайной величины , распределенной по показательному закону, равно ее математическому ожиданию.
Третий центральный момент:
,
и соответственно коэффициент асимметрии
.
Следовало ожидать, что асимметрия показательного распределения будет положительной.
Показательное распределение связано с простейшим потоком событий. Покажем, что интервал времени между двумя соседними событиями в простейшем потоке имеет показательное распределение с параметром, равным интенсивности потока, т. е.
.
Для этого найдем функцию распределения случайной величины – интервала времени между соседними событиями в потоке:
.
t
0
Рис. 4.24. Случайная величина Т
На оси времени отметим интервал между соседними событиями потока (см. рис. 4.24). Чтобы выполнялось неравенство , необходимо, чтобы хотя бы одно событие потока попало на участок длины . Вероятность того, что это так,
,
где вероятность для пуассоновского потока равна ,
откуда функция распределения будет иметь вид
,
после дифференцирования которой получаем искомую плотность распределения
.
Показательное распределение широко используется в теории марковских случайных процессов, теории массового обслуживания и теории надежности.
Нормальное распределение
Случайная величина распределена по нормальному (гауссовому) закону с параметрами и , если ее плотность распределения имеет вид
. (4.29)
m
Рис. 4.25. Кривая нормального распределения
Кривая нормального распределения (см. рис. 4.25) имеет симметричный холмообразный вид. Максимальное значение кривой, равное , достигается при , т. е. мода .
Вычислим основные характеристики случайной величины , распределенной по нормальному закону. Математическое ожидание
.
Сделаем замену переменной интегрирования
(4.30)
и получим
.
Первый из интегралов равен нулю, как интеграл в симметричных пределах от нечетной функции; второй – это известный интеграл Эйлера – Пуассона
.
Таким образом, математическое ожидание нормального распределения
(4.31)
совпадает с параметром распределения . Иногда называют центром рассеивания случайной величины .
Дисперсия гауссовой случайной величины
.
Используя замену переменной (4.30), получаем
.
Первое слагаемое в фигурных скобках равно нулю, так как при быстрее, чем возрастает . Второе слагаемое равно .
Таким образом, дисперсия
. (4.32)
Значит, параметр распределения есть не что иное, как среднее квадратичное отклонение гауссовой случайной величины :
.
Размерности и совпадают с размерностью случайной величины .
Положение кривой распределения и ее форма полностью определяются параметрами и .
Вычислим моменты нормальной случайной величины . Так, -й центральный момент будет
.
После замены переменой (4.30) получаем
. (4.33)
Естественно, что при любом нечетном , как интеграл в симметричных пределах от нечетной функции. Для четных :
.
Первый член в фигурных скобках равен нулю, и поэтому получаем
. (4.34)
Подставим в формулу (4.33) вместо :
. (4.35)
Сравнение выражений (4.35) и (4.34) показывает, что эти формулы различаются только множителем . Следовательно,
.
Получено простое рекуррентное соотношение, позволяющее выражать центральные моменты более высоких порядков через центральные моменты более низких порядков. Если учесть, что для любой случайной величины , то получаем ; ; .
Эксцесс нормального распределения равен нулю:
.
Вероятность попадания случайной величины на участок от до определятся следующим образом:
, (4.36)
где – функция Лапласа.
Вероятность того, что абсолютная величина отклонения гауссовой случайной величины от своего математического ожидания окажется меньше любого , равна
. (4.37)
Если в выражении (4.36) положить , и учесть, что , то получаем функцию распределения нормальной случайной величины в виде
. (4.38)
Модель нормального распределения. Складывается большое количество независимых случайных величин
Рис. 4.26. Функция распределения нормальной случайной величины
0
x
m
1
,
при этом предполагается, что каждая из сравнима по степени своего влияния на рассеивание суммарной случайной величины . Закон распределения суммы этих случайных величин (случайной величины ) будет тем ближе к нормальному, чем больше число слагаемых , вне зависимости от того, какие законы распределения имеют отдельные величины . Таково содержание центральной предельной теоремы теории вероятностей.
Гамма-распределение и распределение Эрланга
Неотрицательная случайная величина имеет гамма-распределение, если ее плотность распределения выражается формулой
, (4.39)
где – параметры распределения; – гамма-функция
, (4.40)
которая обладает следующими свойствами:
. (4.41)
Для целых неотрицательных получаем
.
Математическое ожидание случайной величины , подчиняющейся гамма-распределению,
.
Учитывая свойства (4.41), окончательно получаем
. (4.42)
Второй начальный момент находим по формуле
,
откуда дисперсия
. (4.43)
При гамма-распределение превращается в показательное с параметром , так как
.
При целых и бóльших единицы гамма-распределение превращается в распределение Эрланга k-го порядка:
. (4.44)
Закон распределения Эрланга k-го порядка тесно связан со стационарным пуассоновским потоком с интенсивностью .
Модель распределения Эрланга k-го порядка. Складывается независимых случайных величин , каждая из которых подчиняется показательному закону с одним и тем же параметром . В этом случае суммарная случайная величина имеет распределение Эрланга k-го порядка.
ЧАСТЬ 5
СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН
Лекция 9
ЦЕЛЬ ЛЕКЦИИ: ввести понятие системы случайных величин и закона распределения систем двух случайных величин; определить условия зависимости и независимости случайных величин, сформулировать условный закон распределения и правило умножения плотностей.
Понятие о системе случайных величин
При теоретико-множественной трактовке любая случайная величина есть функция элементарного события, входящего в пространство элементарных событий :
,
т. е. каждому элементарному событию ставится в соответствие некоторое действительное число , где – множество возможных значений случайной величины .
Теперь перейдем к рассмотрению системы случайных величин – двух и более, например координаты падения снаряда и , набор оценок , выставленных в приложении к диплому.
Будем обозначать систему нескольких случайных величин как . Эта система есть функция элементарного события
.
Таким образом, каждому элементарному событию ставится в соответствие несколько действительных чисел – значения, принятые случайными величинами в результате опыта.
Пример. Пространство элементарных событий состоит из 28 элементов – 28 костей домино: . Если случайная величина – сумма очков, а – их произведение, то совокупность значений этих случайных величин есть функция элементарного события : так, при выпадении кости .
Случайные величины, входящие в систему, могут быть как дискретными, так и непрерывными. Систему двух непрерывных случайных величин можно изобразить случайной точкой на плоскости с координатами и (см. рис. 5.1). Систему трех случайных величин – случайной точкой в 3-мерном пространстве с координатами . И то и другое можно изобразить в виде вектора (см. рис. 5.2). Использование геометрической интерпретации удобно для системы случайных величин как вектора в -мерном пространстве
.
Свойства системы случайных величин определяются как свойствами отдельных величин, входящих в систему, так и зависимостями между случайными величинами.
Рис. 5.1. Случайная точка
Рис. 5.2. Случайный вектор
Полной характеристикой системы случайных величин является закон распределения, который может быть представлен в виде функции распределения, плотности распределения, таблицы вероятностей отдельных значений случайного вектора и т. д.
Функция распределения системы
двух случайных величин
Функцией распределения системы двух случайных величин называется вероятность совместного выполнения двух неравенств – и
. (5.1)
Событие в фигурных скобках означает произведение событий и :
.
Геометрическое истолкование функции распределения – это вероятность попадания случайной точки в бесконечный квадрант с вершиной в точке , лежащей левее и ниже этой точки (см. рис. 5.3). Правая и верхняя границы в квадрант не включаются.
Рис. 5.3. Геометрическая интерпретация
Из приведенной геометрической интерпретации можно вывести основные свойства функции распределения системы двух случайных величин:
1. Функция распределения есть неубывающая функция обоих своих аргументов, т. е.
при
при
На рис. 5.3 видно, что при увеличении или заштрихованная область возрастает.
2. Если или обращаются в , то функция распределения равна нулю:
.
3. Если оба аргумента равны , то функция распределения равна единице:
.
В этом случае квадрант заполняет всю плоскость, и попадание в него случайной точки есть достоверное событие.
4. Если один из аргументов обращается в , то функция распределения становится равной функции распределения случайной величины, соответствующей другому аргументу:
где – функция распределения случайной величины ; – функция распределения случайной величины .
В этом случае квадрант превращается в полуплоскость, вероятность попадания в которую есть функция распределения случайной величины, соответствующей другому аргументу (см. рис. 5.4–5.5).
Рис. 5.6. Вероятность попадания в область R
Рис. 5.5. Функция распределения F2(у)
Рис. 5.4. Функция распределения F1(x)
Из определения функции распределения следует, что она непрерывна слева по любому аргументу. При геометрической интерпретации функции – это некоторая поверхность, обладающая указанными свойствами, а вид этой поверхности зависит от того, будут ли входящие в систему случайные величины дискретными или непрерывными.
Знание функции распределения позволяет решить задачу о вычислении вероятности попадания случайной точки в прямоугольник (см. рис. 5.6). Решение оказывается достаточно простым, если учесть определение (5.1) функции :
.
Вычисление сводится к вычитанию из большого квадранта двух других и добавке дважды вычтенного квадранта с вершиной в точке .
Функции распределения – наиболее универсальная форма закона распределения, пригодная как для дискретных, так и непрерывных случайных величин.
Система двух дискретных случайных величин.
Матрица распределения
Пусть множества возможных значений системы случайных величин конечны, т. е.
Обозначим через
, (5.2)
где событие есть произведение событий и .
Используя выражение (5.2), можно построить матрицу распределения – прямоугольную таблицу, в которой записаны все вероятности .
|
|||||||
Сумма всех вероятностей матрицы распределения равна единице:
.
При наличии матрицы распределения системы двух дискретных случайных величин ее функция распределения находится суммированием всех вероятностей , для которых и , т. е.
.
Если множества возможных значений дискретных случайных величин и бесконечные, но счетные, то тогда матрица распределения имеет бесконечные размеры, но ее свойства остаются теми же, что и при конечных и .
По матрице распределения системы можно найти законы (ряды) распределения отдельных случайных величин и . Для это обозначим
.
Событие представим как сумму несовместных вариантов:
.
Просуммировав соответствующие вероятности, получаем
;
.
Таким образом, чтобы найти вероятность того, что отдельная случайная величина, входящая в систему, примет определенное значение, надо просуммировать вероятности , стоящие в соответствующей этому значению строке (столбце) матрицы распределения.
Система двух непрерывных случайных величин.
Совместная плотность распределения
Система двух случайных величин называется непрерывной, если ее функция распределения есть непрерывная функция, дифференцируемая по каждому из аргументов, и у которой существует вторая смешанная производная . Обе составляющие системы и должны быть непрерывными случайными величинами.
Для определения плотности распределения рассмотрим на плоскости малый прямоугольник , примыкающий к точке с размерами на (см. рис. 5.7). Вероятность попадания на этот прямоугольник равна
.
При переходе к пределу получаем
.
Рис. 5.7. Вероятность попадания в область RXY
RXY
Так как условились, что непрерывна и дифференцируема по каждому из аргументов, то последнее выражение есть не что иное, как вторая смешанная производная функции распределения
, (5.3)
которая является совместной плотностью распределения системы двух непрерывных случайных величин .
Геометрически совместная плотность изображается поверхностью распределения (см. рис. 5.8).
Свойства плотности распределения:
1. Совместная плотность распределения, положительно определенная функция по обоим аргументам,
.
2. Двойной интеграл в бесконечных пределах от плотности распределения равен единице (условие нормировки):
, (5.4)
т. е. объем под поверхностью распределения равен единице.
Рис. 5.8. Поверхность распределения
x
y
f(x,y)
Вводится понятие элемента вероятности для системы двух непрерывных случайных величин в виде
,
который равен вероятности попадания случайной точки на элементарный прямоугольник . Приближенно эта вероятность равна объему элементарного параллелепипеда с высотой , опирающегося на прямоугольник .
Вероятность попадания случайной точки в некоторую область будет равна
.
Если область представляет собой прямоугольник (см. рис. 5.6), то
. (5.5)
Если использовать "опору на квадранты", то можно записать функцию распределения:
. (5.6)
Положив в выражении (5.6) , докажем второе свойство (см. выражение (5.4)) совместной плотности распределения, т. е.
.
Выразим законы распределения отдельных случайных величин, входящих в систему, через закон распределения системы двух случайных величин .
Для того чтобы получить функцию распределения одной из случайных величин, входящих в систему, нужно положить в выражении (5.6) аргумент, соответствующий другой случайной величине, равным , т. е.
, (5.7)
. (5.8)
Продифференцировав выражения (5.7) и (5.8) по соответствующим переменным, получим
, (5.9)
. (5.10)
Таким образом, чтобы получить плотность распределения одной из величин, входящих в систему, нужно проинтегрировать совместную плотность распределения в бесконечных пределах по другой случайной величине.
Зависимые и независимые случайные величины.
Условные законы распределения
Решение обратной задачи – отыскание закона распределения системы по законам распределения входящих в систему случайных величин – в общем случае невозможно.
В частном случае, когда случайные величины независимы, задача решается достаточно просто.
Две случайные величины и называются независимыми, если независимы все связанные с ними события: и , и и т. д.
Зависимость и независимость всегда взаимны. Таким образом, две случайные величины называются независимыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая величина.
Функция распределения для независимых случайных величин будет иметь вид
,
т. е.
. (5.11)
Для зависимых случайных величин вводится понятие условного закона распределения.
Условным законом распределения случайной величины , входящей в систему , называется ее закон распределения, вычисленный при условии, что другая случайная величина приняла определенное значение. Условный закон распределения можно задавать или как условную функцию распределения , или как условную плотность .
Для произвольного типа систем случайных величин условная функция распределения может быть записана в виде
.
Условная вероятность , т. е. вероятность события при условии, что величина приняла значение меньшее, чем , и называется условной функцией распределения случайной величины при условии . Ее обозначают так:
.
Таким образом, получаем
.
На практике чаще применяют другой вид условного закона распределения: закон распределения одной из случайных величин при условии, что другая приняла вполне определенное значение.
Теорема умножения плотностей (без доказательства). Совместная плотность системы двух зависимых непрерывных случайных величин равна произведению плотности одной из них на условную плотность другой при заданном значении первой:
, (5.12)
. (5.13)
Теорема аналогична правилу умножения вероятностей в схеме событий и может быть выведена из него.
Для независимых случайных величин теорема умножения плотностей будет иметь вид
, (5.14)
т. е. совместная плотность распределения независимых случайных величин равна произведению плотностей обеих случайных величин, входящих в систему.
Из формул (5.12) и (5.13) можно получить выражения для определения условных плотностей распределения
. (5.15)
Условные плотности и обладают свойствами обычных плотностей, т. е. они положительно определенные и интеграл от них в бесконечных пределах равен единице (условие нормировки).
Обе формулы (5.15) запишем следующим образом, учитывая выражения (5.9) и (5.10):
, (5.16)
x
y
f(x,y)
Рис. 5.9. Геометрическая интерпретация условной плотности распределения.
откуда следует, что геометрическая интерпретация кривой условной плотности может быть получена путем сечения поверхности распределения плоскостью, параллельной координатной плоскости , отсекающей на оси отрезок (см. рис. 5.9). Коэффициент пропорциональности служит для того, чтобы для кривой выполнялось условие нормировки.
Лекция 10
ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики системы двух случайных величин: начальные и центральные моменты, ковариацию, коэффициент корреляции и регрессию; описать двумерное нормальное распределение; сформулировать закон распределения и найти числовые характеристики -мерного случайного вектора; вывести плотность распределения многомерного гауссова распределения.
Начальные и центральные моменты
Обычно рассматривают в качестве числовых характеристик системы случайных величин начальные и центральные моменты различных порядков.
Начальным моментом порядка системы двух случайных величин называется математическое ожидание произведения на :
. (5.17)
Центральным моментом порядка системы двух случайных величин называется математическое ожидание произведения на :
, (5.18)
где , – центрированные случайные величины.
Для системы дискретных случайных величин
; ,
а для системы непрерывных случайных величин
;
.
Порядок моментов определяется суммой индексов .
Начальные моменты первого порядка – это математические ожидания случайных величин и :
; .
Отметим, что точка представляет собой характеристику положения случайной точки , и разброс возможных значений системы случайных величин происходит вокруг этой точки.
Центральные моменты первого порядка равны нулю: .
Начальные моменты второго порядка:
;
;
. (5.19)
Начальный момент называется смешанным начальным моментом второго порядка и обозначается как .
Центральные моменты второго порядка:
;
;
. (5.20)
Первые два центральных момента – это дисперсии случайных величин и . Момент называется смешанным центральным моментом второго порядка или ковариацией (корреляционным моментом) и обычно обозначается как .
Ковариация
Для системы двух случайных величин ковариация выражается формулой
, (5.21)
при этом .
Дисперсию можно рассматривать как частный случай ковариации, т. е.
, .
Для независимых случайных величин ковариация всегда равна нулю. Докажем это утверждение.
,
но для независимых случайных величин по теореме умножения плотностей имеем
.
Следовательно,
.
Таким образом, доказано, что ковариация двух независимых случайных величин равна нулю.
Ковариация характеризует степень зависимости случайных величин и их рассеивание вокруг точки . Ее можно выразить через начальные моменты:
. (5.22)
Ковариация двух случайных величин равна математическому ожиданию их произведения минус произведение математических ожиданий этих величин.
Размерность ковариации, также как и дисперсии, равна квадрату размерности случайной величины.
Степень зависимости случайных величин и удобнее характеризовать посредством безразмерной величины – коэффициента корреляции
, (5.23)
который характеризует степень линейной зависимости, проявляющейся в том, что при возрастании одной из случайных величин другая также проявляет тенденцию возрастать или, наоборот, убывать.
Если , то говорят, что случайные величины и связаны положительной корреляцией; при – отрицательная корреляция между случайными величинами. Диапазон изменения
. (5.24)
Модуль коэффициента корреляции характеризует степень "тесноты" линейной зависимости или уклонение корреляционной связи от линейной функциональной зависимости случайных величин и .
При независимости случайных величин , а при линейно функциональной зависимости , :
при ; при .
Если коэффициент корреляции равен нулю, то говорят, что случайные величины и не коррелированы, но это не означает, что они независимы. При можно лишь утверждать, что между случайными величинами отсутствует линейная связь.
Регрессия
Условным математическим ожиданием одной из случайных величин, входящих в систему , называется ее математическое ожидание, вычисленное при условии, что другая случайная величина приняла определенное значение, т. е. полученное на основе условного закона распределения.
Для дискретных случайных величин
;
,
где ; – условные вероятности случайных величин и соответственно.
Для непрерывных случайных величин
;
,
где и – условные плотности распределения случайных величин: при и при соответственно.
Условное математическое ожидание случайной величины при заданном : называется регрессией на ; аналогично – регрессией на . Графики этих зависимостей как функции или называют линиями регрессии, или "кривыми регрессии" на и на соответственно (см. рис. 5.10).
0
Рис. 5.10б. Регрессия на
0
Рис. 5.10а. Регрессия на
Для независимых случайных величин линии регрессии на и на параллельны осям абсцисс, так как математическое ожидание каждой из случайных величин не зависит от того, какое значение приняла другая случайная величина (см. рис. 5.10).
Двумерное нормальное распределение
Система двух непрерывных случайных величин распределена по нормальному закону, если ее совместная плотность имеет вид
. (5.25)
Это двумерное нормальное распределение, или нормальный закон распределения на плоскости, который полностью определяется заданием его числовых характеристик: .
Условные законы распределения:
;
.
Каждый из этих условных законов распределения является нормальным с условным математическим ожиданием и условной дисперсией, определяемой по формулам:
Отсюда следует, что для системы нормально распределенных случайных величин и линии регрессии и представляют собой прямые линии, т. е. регрессия для нормально распределенной системы всегда линейна. Для полного описания такой системы нужно знать пять параметров: координаты центра рассеивания и ковариационную матрицу, состоящую их четырех элементов:
, при этом .
При (случайные величины и не коррелированы) совместная плотность распределения системы имеет вид
,
т. е. если две нормальные случайные величины и не коррелированы, то они и независимы.
Закон распределения и числовые характеристики
-мерного случайного вектора
Закон распределения системы случайных величин – -мерного случайного вектора с составляющими – в общем случае может быть задан в виде функции распределения:
. (5.26)
Свойства функции распределения -мерного случайного вектора аналогичны свойствам функции распределения одной или двух случайных величин:
1. есть неубывающая функция каждого из своих аргументов.
2. Если хотя бы один из аргументов обращается в , то функция распределения равна нулю.
3. Функция распределения любой подсистемы системы определяется, если положить в функции распределения аргументы, соответствующие остальным случайным величинам, равными :
.
Чтобы определить функцию распределения любой из случайных величин, входящих в систему, нужно положить в все аргументы, кроме , равными :
.
4. Функция распределения непрерывна слева по каждому из своих аргументов.
5. Если случайные величины независимы, то
.
Для системы непрерывных случайных величин функция распределения непрерывна и дифференцируема по каждому из аргументов, а также существует -я смешанная частная производная
,
которая является совместной плотностью распределения системы непрерывных случайных величин , т. е.
. (5.27)
Свойства совместной функции распределения:
1. .
2. .
3. Если случайные величины независимы, то
.
Закон распределения системы зависимых случайных величин, являющийся функцией многих аргументов, весьма неудобен в практическом применении. Поэтому в практических (инженерных) приложениях теории вероятностей рассматриваются в основном числовые характеристики -мерного случайного вектора:
1. математических ожиданий:
;
2. дисперсий:
;
3. ковариаций:
.
Учитывая, что дисперсия случайной величины есть ковариация , то все ковариации () совместно с дисперсиями образуют матрицу ковариаций (ковариационную или корреляционную матрицу) – таблицу, состоящую из строк и столбцов:
. (5.28)
Так как , то матрица ковариаций симметрична относительно главной диагонали, на которой стоят дисперсии случайных величин. Если случайные величины попарно не коррелированные, т. е. , то матрица (5.25) становится диагональной:
.
Вместо матрицы ковариаций можно записать матрицу коэффициентов корреляции:
, (5.29)
где .
Отсюда единицы по главной диагонали в матрице (5.29). Если же случайные величины попарно не коррелированные, т. е. , то матрица коэффициентов корреляции будет единичной матрицей:
.
Иногда рассматривают условное математическое ожидание одной из случайных величин, например , при условии, что все остальные случайные величины приняли определенные значения: .
.
Это условное математическое ожидание называется регрессией на . Геометрически регрессия интерпретируется как поверхность в -мерном пространстве и называется поверхностью регрессии на .
Регрессия будет линейной, если поверхность регрессии описывается линейной функцией, т. е.
,
где – постоянные коэффициенты.
В двумерном случае линия регрессии прямая, в трехмерном – плоскость; в общем случае – гиперплоскость в пространстве измерений.
Для системы случайных величин , имеющей нормальное распределение, регрессия всегда линейна.
Многомерное нормальное распределение
Совместная плотность распределения вероятности системы произвольного числа нормальных случайных величин – случайного вектора – имеет вид
, (5.30)
где – определитель ковариационной матрицы системы случайных величин ; – элементы обратной ковариационной матрицы, – алгебраическое дополнение элемента матрицы ковариаций.
Таким образом, параметрами -мерного нормального распределения являются:
Если нормально распределенные случайные величины не коррелированы, то корреляционная матрица становится диагональной
,
ее определитель , а обратная корреляционная матрица будет иметь вид
.
Таким образом, совместную плотность распределения можно привести к виду
.
Для нормально распределенной системы случайных величин из попарной некоррелированности отдельных величин, входящих в систему, следует их независимость.
ЧАСТЬ 6
ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН
Лекция 11
ЦЕЛЬ ЛЕКЦИИ: ввести понятие функции случайной величины и провести классификацию возникающих при этом задач; вывести закон распределения функции одного случайного аргумента и закон распределения суммы двух случайных величин; пояснить понятие композиции законов распределения.
Понятие о функции случайной величины
Среди практических приложений теории вероятностей особое место занимают задачи, требующие нахождения законов распределения и/или числовых характеристик функций случайных величин. В простейшем случае задача ставится следующим образом: на вход технического устройства поступает случайное воздействие ; устройство подвергает воздействие некоторому функциональному преобразованию и на выходе дает случайную величину (см. рис. 6.1). Нам известен закон распределения случайной величины , и требуется найти закон распределения и/или числовые характеристики случайной величины .
X2
X1
Xn
Рис. 6.1. Функции случайных величин
X2
X1
Xn
Y1
Y2
Yn
Можно выделить три основные возникающие задачи:
1. Зная закон распределения случайной величины (или случайного вектора ), найти закон распределения выходной случайной величины (или ).
2. Зная закон распределения случайной величины , найти только числовые характеристики выходной случайной величины.
3. В некоторых случаях (при особых видах преобразования ) для нахождения числовых характеристик выхода не требуется знать закон распределения входной случайной величины , а достаточно знать только его числовые характеристики.
Рассматриваем случайную величину , зависящую функционально от случайной величины , т. е. . Пусть случайная величина дискретна и известен ее ряд распределения:
|
Х: |
… |
… |
|||||
|
… |
… |
, |
,
где .
При подаче на вход значения случайной величины на выходе получим с вероятностью . И так для всех возможных значений случайной величины . Таким образом, получаем табл. 6.1.
Таблица 6.1
|
… |
… |
||||
|
… |
… |
Полученная табл. 6.1 в общем случае может не быть рядом распределения случайной величины , так как значения в верхней строке таблицы могут быть расположены в невозрастающем порядке, а некоторые могут даже совпадать.
Для преобразования табл. 6.1 в ряд распределения случайной величины необходимо упорядочить возможные значения по возрастанию, а вероятности совпадающих значений нужно сложить.
Для нахождения числовых характеристик случайной величины преобразовывать (6.1) в ряд распределения нет необходимости, так как их можно вычислить по таблице (6.1). Действительно, находя сумму произведений возможных значений случайной величины на их вероятности, получаем
. (6.1)
Таким образом, зная только закон распределения аргумента , можно найти математическое ожидание функции случайной величины.
Аналогично находим дисперсию случайной величины :
.
Аналогично определяем начальные и центральные моменты любых порядков случайной величины :
.
Для непрерывной случайной величины , имеющей плотность распределения , получаем
;
;
.
Видим, что для нахождения числовых характеристик функции вовсе не нужно знать ее закон распределения – достаточно знания закона распределения аргумента .
Теоремы о числовых характеристиках
функций случайных величин
В некоторых задачах числовые характеристики системы случайных величин можно определить как функции числовых характеристик системы случайных величин . В этом случае не требуется даже знание закона распределения аргумента, например совместную плотность распределения , а достаточно иметь только числовые характеристики этой системы случайных величин. Для решения таких задач сформулированы следующие теоремы о числовых характеристиках функций случайных величин:
1. , 3. ,
2. , 4. ,
где – неслучайная величина.
5. для любого числа слагаемых, как независимых, так и зависимых, коррелированных и некоррелированных.
6. Математическое ожидание от линейной комбинации случайных величин равно той же линейной функции от математических ожиданий рассматриваемых случайных величин:
.
7. Дисперсия суммы случайных величин равна сумме всех элементов корреляционной матрицы этих случайных величин
.
Так как корреляционная матрица симметрична относительно главной диагонали, на которой находятся дисперсии, то последнюю формулу перепишем в виде
.
Если случайные величины не коррелированы, то справедлива теорема о сложении дисперсий:
.
8. Дисперсия линейной функции случайных величин определяется по формуле
.
9. Математическое ожидание произведения двух случайных величин равно произведению математических ожиданий плюс ковариация
.
Математическое ожидание произведения двух некоррелированных случайных величин равно произведению их математических ожиданий
.
10. Дисперсия произведения независимых случайных величин выражается формулой
Если случайные величины независимые и центрированные, получаем
.
Закон распределения функции случайного аргумента
Есть непрерывная случайная величина с плотностью распределения , связанная со случайной величиной функциональной зависимостью . Требуется найти закон распределения случайной величиной .
Рассмотрим случай, когда строго монотонна, непрерывна и дифференцируема на интервале всех возможных значений случайной величиной .
Функция распределения случайной величиной по определению есть . Если функция монотонно возрастает на участке всех возможных значений случайной величиной , то событие эквивалентно событию , где есть функция, обратная функции . Когда случайная величина принимает
a
x
y
b
Рис. 6.2. Функция случайного аргумента
значения на участке , то случайная точка перемещается по кривой (ордината полностью определяется абсциссой) (см. рис. 6.2). Из строгой монотонности следует монотонность , и поэтому функцию распределения случайной величиной можно записать следующим образом:
.
Дифференцируя это выражение по , входящему в верхний предел интеграла, получаем плотность распределения случайной величиной в виде
. (6.2)
Если функция на участке возможных значений случайной величиной монотонно убывает, то, проведя аналогичные выкладки, получаем
. (6.3)
Диапазон возможных значений случайной величиной может быть в выражениях (6.2) и (6.3) от до .
Так как плотность распределения не может быть отрицательной, то формулы (6.2) и (6.3)можно объединить в одну
. (6.4)
Пример. Пусть функция случайной величины является линейной, т. е. , где . Непрерывная случайная величина имеет плотность распределения , и тогда, используя выражение (6.4), найдем закон распределения , учитывая, что обратная функция есть , а модуль ее производной равен ,
. (6.5)
Если случайная величина имеет нормальное распределение
,
то согласно (6.5) получаем
.
Это по-прежнему нормальный закон распределения с математическим ожиданием , дисперсией и средним квадратичным отклонением .
В результате линейного преобразования нормально распределенной случайной величины получаем случайную величину , также распределенную по нормальному закону.
Закон распределения суммы двух случайных величин.
Композиция законов распределения
Имеем систему двух непрерывных случайных величин и их сумму – случайную величину . Необходимо найти закон распределения случайной величины , если известна совместная плотность распределения системы .
Функция распределения – это площадь области на плоскости , где выполняется неравенство (см. рис. 6.3), т. е.
.
Рис. 6.3. Закон распределения суммы случайных величин
x1
x2
y
D(y)
Продифференцировав это выражение по , получаем плотность распределения вероятности случайной величины
.
Учитывая симметрию слагаемых, можно записать аналогичное соотношение
.
Если случайные величины и независимы, т. е. выполняется равенство , то две последние формулы примут вид:
; (6.6)
. (6.7)
В том случае, когда складываются независимые случайные величины и , то говорят о композиции законов распределения. Для обозначения композиции законов распределения иногда применяется символьная запись: .
Закон распределения называется устойчивым к композиции, если при композиции законов распределения этого типа получается снова тот же закон, но с другими значениями параметров. Например, если сложить две независимые нормальные случайные величины, то результирующая случайная величина будет иметь нормальный закон распределения, т. е. нормальный закон устойчив к композиции. Кроме нормального закона, устойчивыми к композиции являются законы распределения Эрланга, биноминальный, Пуассона.
Лекция 12
ЦЕЛЬ ЛЕКЦИИ: построить метод линеаризации функций случайных величин; ввести понятие комплексной случайной величины и получить ее числовые характеристики; определить характеристическую функцию и доказать ее свойства.
Метод линеаризации функций случайных величин
В некоторых частных случаях числовые характеристики функций случайных величин можно найти, используя только числовые характеристики аргументов таких функций. Особенно простые соотношения существуют между числовыми характеристиками функций и числовыми характеристиками аргументов, если функции линейны. Во многих практических применениях нелинейные зависимости в определенном диапазоне заменяются линейными.
Линеаризацией функции называется приближенная замена нелинейной функции линейной, что позволяет достаточно просто находить числовые характеристики функций случайных величин.
Рассмотрим задачу линеаризации функции одного случайного аргумента
,
где и – непрерывные случайные величины.
Считая, что некоторая функция дифференцируема, разложим ее в ряд Тейлора в окрестности точки :
.
Линеаризация есть приближенное представление функции случайной величины первыми двумя членами ряда Тейлора; при этом разложение проводится в окрестности точки математического ожидания . Это приближение тем точнее, чем меньше диапазон возможных значений случайного аргумента.
Таким образом, при приближенной замене нелинейной функции линейной получаем
.
Необходимо отметить, что при выводе формулы совершен переход от неслучайного аргумента к случайному, что, строго говоря, можно делать с оговорками, так как дифференцировать по случайной величине в общем случае нельзя.
Геометрическая интерпретация метода линеаризации сводится к замене участка кривой для диапазона отрезком касательной – линеаризованной функцией , проходящей через точку с абсциссой и ординатой (см. рис. 6.4).
Если такая замена удовлетворяет по точности, то для линеаризованной зависимости между случайными величинами и можно найти числовые характеристики :
;
;
.
Рис. 6.4. Линеаризации функции случайной величины
K
y
x
Получили, что математическое ожидание линеаризованной функции приблизительно равно функции от математического ожидания аргумента, а ее дисперсия – дисперсии аргумента, умноженной на квадрат производной функции в точке, соответствующей математическому ожиданию аргумента.
Заметим, что плотность непрерывной случайной величины , как правило, больше в областях, близких к математическому ожиданию . Поэтому наилучшее приближение нелинейной функции к линейной будет в области математического ожидания случайной величины.
Комплексные случайные величины
Комплексной случайной величиной называется случайная величина вида
,
где и – действительные случайные величины; .
При этом – действительная часть комплексной случайной величины , а – мнимая часть.
Случайная величина называется комплексно сопряженной случайной величине .
Комплексная случайная величина может быть представлена либо случайной точкой , либо случайным вектором на комплексной плоскости (см. рис. 6.5).
Случайная величина – длина случайного вектора называется модулем комплексной случайной величины :
.
X1
X2
x2
x1
0
Рис. 6.5. Представление комплексной случайной величины
Случайная величина является действительной.
Случайный угол (фазовый угол) называется аргументом комплексной величины . Действительная случайная величина определяется выражением
.
Математическим ожиданием комплексной случайной величины является комплексное число
.
Центрированной комплексной случайной величиной называется случайная величина
,
где – действительные центрированные случайные величины.
Дисперсией комплексной случайной величины называется математическое ожидание квадрата модуля соответствующей центрированной случайной величины:
,
где .
Вычислим произведение
и, воспользовавшись теоремой сложения математических ожиданий (математическое ожидание суммы случайных величин равно сумме математических ожиданий), получим
.
Дисперсия комплексной случайной величины есть действительное неотрицательное число, равное сумме дисперсий действительной и мнимой частей.
Если есть две комплексные случайные величины и , то определим ковариацию как математическое ожидание произведения центрированной комплексной случайной величины на центрированную комплексно сопряженную случайную величину :
.
Используя теорему сложения математических ожиданий, получаем
,
где – ковариации действительных случайных величин и .
При этом , так как
.
Ковариация комплексных случайных величин и равна комплексно сопряженной ковариации комплексных величин и .
Характеристическая функция случайной величины
и ее свойства
Введем комплексную случайную величину
,
где – действительная случайная величина с известным законом распределения; – параметр, имеющий размерность, обратную размерности случайной величины .
Характеристической функцией случайной величины называется математическое ожидание комплексной случайной величины :
. (6.8)
Для дискретной случайной величины , принимающей значения с вероятностями , характеристическая функция будет иметь вид
. (6.9)
Если случайная величина непрерывна и имеет плотность распределения , то получаем
. (6.10)
То есть характеристическая функция непрерывной случайной величины представляет собой преобразование Фурье плотности распределения и однозначно определяется этой плотностью. Отсюда следует, что и плотность распределения также однозначно выражается через характеристическую функцию посредством обратного преобразования Фурье:
. (6.11)
Основные свойства характеристической функции:
1. Характеристическая функция неслучайной величины равна
.
2. Характеристическая функция случайной величины ( и – неслучайные величины) связана с характеристической функций случайной величины следующим выражением:
.
3. Если у случайной величины существует начальный момент -го порядка , то существует -я производная характеристической функции
,
которая при выражается формулой
,
откуда получаем выражение для вычисления начальных моментов -го порядка случайной величины посредством -й производной характеристической функции в нуле:
. (6.12)
4. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.
Доказательство. Пусть и заданы характеристические функции случайных величин (). Характеристическая функция случайной величины будет равна
.
По теореме умножения математических ожиданий независимых случайных величин окончательно получаем
.
5. Из свойств 2 и 4 следует, что если и случайные величины независимы, то
.
ЧАСТЬ 7
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
Лекция 13
ЦЕЛЬ ЛЕКЦИИ: доказать неравенство Чебышева; сформулировать и доказать закон больших чисел и его следствия; доказать центральную предельную теорему для случая суммы независимых случайных величин.
Закон больших чисел утверждает, что среднее арифметическое большого числа случайных величин ведет себя как среднее арифметическое их математических ожиданий. А согласно центральной предельной теореме достаточно большая сумма сравнительно малых случайных величин ведет себя как нормальная случайная величина. Различные формы закона больших чисел вместе с различными вариантами центральной предельной теоремы образуют совокупность так называемых предельных теорем теории вероятностей и имеют большой практический смысл, так как составляют теоретическую основу математической статистики.
В качестве леммы, необходимой для доказательства теорем, относящихся к группе "предельных", докажем неравенство Чебышева.
Неравенство Чебышева
Если у случайной величины известна дисперсия , то она в некотором смысле является мерой "случайности" величины .
Так, для случайной величины, имеющей равномерный закон распределения
,
дисперсия равна
.
При малых мала и дисперсия, но невелико и отличие любого значения случайной величины от ее математического ожидания.
Аналогично для нормального распределения: чем больше дисперсия, тем больше область вероятных (имеющих отличные от нуля вероятности) значений случайной величины , хотя и с меньшей вероятностью.
Таким образом, чем больше величина дисперсии , тем более вероятны значительные отклонения возможных значений случайной величины от центра группирования – математического ожидания .
Если у случайной величины известна плотность распределения , то для любого положительного можно вычислить вероятность события вида .
Однако чаще встречается вариант, когда при неизвестном законе распределения, но по известной дисперсии необходимо оценить вероятность события . Эту задачу решил Чебышев Пафнутий Львович (1821–1894) посредством неравенства, названного его именем.
Неравенство Чебышева. Для любой случайной величины, имеющей конечную дисперсию и математическое ожидание , для любого положительного имеет место неравенство
.
Доказательство. Для дискретной случайной величины , заданной рядом распределения
|
Х: |
… |
||||
|
… |
, |
изобразим возможные значения этой величины на числовой оси в виде точек (см. рис. 7.1).
Зададимся некоторым значением и вычислим вероятность того, что случайная величина отклонится от своего математического ожидания на величину, большую чем :
,
т. е. вероятность того, что попадет не внутрь отрезка , а вне его,
Рис. 7.1. Возможные значения дискретной случайной величины
x
x1
A
B
x2
xn-1
xn
0
mX
.
Чтобы вычислить эту вероятность, необходимо просуммировать вероятности всех значений , которые лежат вне отрезка , т. е.
, (7.1)
где запись под знаком суммы означает, что суммирование распространяется на все значения , для которых точки лежат вне отрезка .
По определению дисперсия дискретной случайной величины
.
Так как все члены суммы неотрицательны, то эта сумма только уменьшится, если распространить суммирование не на все значения , а только на те, что лежат вне отрезка :
.
Так как , то при замене под знаком суммы величины на , значение этой суммы еще больше уменьшится, и будем иметь неравенство
.
Стоящая в правой части сумма есть не что иное, как вероятность непопадания случайной величины на отрезок (см. выражение 7.1), и поэтому
,
откуда окончательно получаем
;
.
Как и всякий общий результат, не использующий данные о конкретном виде распределения случайной величины , неравенство Чебышева дает лишь грубую оценку сверху для вероятности события . Если оценивать вероятность события для случайной величины с неизвестным законом распределения, то получим по неравенству Чебышева
.
Для нормального распределения эта вероятность равна 0,0027 – разница в 40 раз.
Закон больших чисел
Одной из основных задач теории вероятностей является установление закономерностей, происходящих с вероятностями, близкими к единице; при этом особую роль играют закономерности, возникающие в результате наложения большого числа независимых или слабо зависимых факторов. Закон больших чисел устанавливает связь между средним арифметическим наблюдаемых значений случайной величины и ее математическим ожиданием и является одним из важнейших приложений теории вероятностей.
Предварительно решим следующую задачу. Есть случайная величина , имеющая математическое ожидание и дисперсию . Над этой величиной производится независимых испытаний и вычисляется среднее арифметическое всех наблюдаемых значений случайной величины . Полученное значение среднего арифметического является случайной величиной. Поэтому необходимо найти числовые характеристики этого среднего арифметического, т. е. вычислить математическое ожидание и дисперсию, а также выяснить, как они изменяются с увеличением .
В результате опытов получена последовательность из возможных значений: . Удобно посмотреть на эту совокупность чисел как на систему случайных величин . Очевидно, что эта система представляет собой независимых случайных величин, каждая из которых распределена по тому же закону, что и сама исходная величина , т. е. выполняются следующие условия:
;
.
Среднее значение этих случайных величин
(7.2)
является случайной величиной с математическим ожиданием
(7.3)
и дисперсией
. (7.4)
Получили, что математическое ожидание случайной величины не зависит от числа испытаний и равно математическому ожиданию исследуемой случайной величины , а дисперсия величины неограниченно убывает с увеличением числа опытов и при достаточно большом может быть сделана сколь угодно малой. Таким образом, среднее арифметическое есть случайная величина с какой угодно малой дисперсией и при большом числе опытов ведет себя почти как неслучайная величина.
Теорема Чебышева. Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной
,
и математические ожидания
,
то, каковы бы ни были постоянные и ,
либо
; ,
т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к их математическому ожиданию.
Доказательство. Применим для случайной величины
с и
неравенство Чебышева
.
Но из условия теоремы получаем
.
Следовательно, каким бы малым ни было число , можно взять таким большим, чтобы выполнялось неравенство
,
где – сколь угодно малое число.
И тогда получаем
,
и, переходя к противоположному событию, имеем
.
Обобщенная теорема Чебышева. Если законы распределения случайной величины от опыта к опыту изменяются, то приходится иметь дело со средним арифметическим последовательности случайных величин с различными математическими ожиданиями и с различными дисперсиями. Для таких случайных величин существует обобщенная теорема Чебышева.
Теорема (без доказательства). Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной
,
и математические ожидания
,
то, каковы бы ни были постоянные и ,
или
,
т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий.
Теорема Маркова. Закон больших чисел может быть распространен и на зависимые случайные величины. Это обобщение принадлежит Маркову.
Теорема (без доказательства). Если имеются зависимые случайные величины и при
,
то среднее арифметическое наблюдаемых значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:
.
Следствия закона больших чисел
Теорема Я. Бернулли, устанавливающая связь между частотой события и его вероятностью, может быть доказана как прямое следствие закона больших чисел (теоремы Чебышева).
Теорема Бернулли. Если производится независимых испытаний, в каждом из которых может появиться или не появиться некоторое событие , вероятность появления которого в каждом опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к его вероятности .
Обозначив частоту события через , теорему Бернулли можно записать в виде
или ,
где и – сколь угодно малые положительные числа.
Доказательство. Рассмотрим независимые случайные величины: – число появлений события в первом опыте; – число появлений события во втором опыте; …; – число появлений события в -м опыте. Все эти случайные величины дискретны и имеют один и тот же закон распределения в виде индикатора событий. Поэтому математическое ожидание каждой из величин равно , а дисперсия равна , где .
Частота представляет собой не что иное, как среднее арифметическое случайных величин
,
которая, согласно теореме Чебышева, сходится по вероятности к общему математическому ожиданию этих случайных величин, равному .
Теорема Бернулли утверждает свойство устойчивости частот при постоянных условиях опыта, но и при изменяющихся условиях испытаний аналогичная устойчивость также существует.
Теорема Пуассона (следствие обобщенной теоремы Чебышева). Если производится независимых опытов и вероятность появления события в -м опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к среднему арифметическому вероятностей :
или .
Центральная предельная теорема
Докажем центральную предельную теорему для случая одинаково распределенных случайных величин (в форме Ляпунова).
Теорема: Если – независимые случайные величины, имеющие одно и то же распределение с математическим ожиданием и дисперсией , то при увеличении закон распределения суммы неограниченно приближается к нормальному.
Доказательство. Докажем теорему для случая непрерывных случайных величин, применив аппарат характеристических функций. Согласно одному из свойств, характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых. Случайные величины имеют одну и ту же плотность распределения , а значит, и одну и ту же характеристическую функцию . Не нарушая общности, можно перенести начало отсчета всех случайных величин в их общее математическое ожидание , что равнозначно их центрированию и, значит, тому, что математическое ожидание каждой из них будет равно нулю.
Для доказательства теоремы найдем характеристическую функцию гауссовой случайной величины с нулевым математическим ожиданием и единичной дисперсией, плотность распределения которой
.
Характеристическая функция такой случайной величины
.
Получили, что характеристическая функция нормальной случайной величины с и имеет вид
. (7.5)
По определению характеристическая функция случайной величины
. (7.6)
Характеристическая функция случайной величины равна произведению характеристических функций слагаемых, т. е.
. (7.7)
Разложим в окрестности точки в ряд Макларена, ограничившись тремя членами
, (7.8)
где при .
Вычислим .
Так, по свойству нормировки функции .
Продифференцируем выражение (7.6) по
(7.9)
и получаем при
,
а так как все имеют одну и ту же плотность распределения и нулевое математическое ожидание, то .
Продифференцируем теперь (7.9): и соответственно при получим
.
После подстановки в (7.8) имеем, что
. (7.10)
Для случайной величины докажем, что при увеличении ее закон распределения приближается к нормальному закону распределения. Для этого перейдем к нормированной случайной величине
,
которая линейно связанной с и удобна тем, что ее дисперсия равна единице для любого . Если докажем, что случайная величина имеет нормальное распределение, то это будет означать, что и величина тоже распределена нормально.
Докажем, что характеристическая функция , однозначно определяющая плотность распределения случайной величины , приближается к характеристической функции нормального закона с теми же, что и у , параметрами: .
Найдем характеристическую функцию случайной величины , используя свойства характеристических функций и выражения (7.5) и (7.8):
.
Прологарифмируем это выражение и получим
.
Пусть , и тогда . Если неограниченно увеличивать , то величина будет стремиться к нулю. Поэтому разложим в ряд по степеням , ограничившись первым членом разложения, т. е. . Таким образом, получаем
,
так как функция , когда аргумент при .
Получили, что , следовательно,
,
но это и есть характеристическая функция нормально распределенной случайной величины с нулевым математическим ожиданием и единичной дисперсией (см. выражение (7.5)). Следовательно, и линейно связанная со случайной величиной случайная величина имеет нормальное распределение.
ЧАСТЬ 8
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Лекция 14
ЦЕЛЬ ЛЕКЦИИ: определить понятие генеральной и выборочной совокупности и сформулировать три типичные задачи математической статистики; ввести понятия выборочной функции распределения, вариационного ряда и гистограммы; привести наиболее важные для математической статистики распределения.
Математическая статистика – это математическая наука посвященная разработке методов описания и анализа статистических экспериментальных данных, полученных в результате наблюдений массовых случайных явлений.
Генеральная и выборочная совокупности
Значительная часть математической статистики связана с описанием и анализом больших совокупностей объектов, объединенных по некоторому качественному или количественному признаку . Такая группа объектов называется статистической совокупностью. Если исследуемая совокупность слишком многочисленна, либо ее элементы малодоступны, либо имеются другие причины, не позволяющие изучать сразу все ее элементы, прибегают к изучению какой-то части этой совокупности. Эта выбранная для полного исследования группа элементов называется выборочной совокупностью или выборкой, а все множество изучаемых элементов – генеральной совокупностью. Под выборкой понимается последовательность независимых, одинаково распределенных случайных величин, т. е. каждая выборка значений случайной величины рассматривается как результат независимых повторных испытаний. Объемом совокупности называется число объектов, входящих в эту совокупность. Например, если из 10 000 микросхем для проверки качества отобрано 200 штук, то объем генеральной совокупности равен 10 000, а выборочной – 200.
Естественно стремиться сделать выборку так, чтобы она наилучшим образом представляла всю генеральную совокупность, т. е. была бы, как говорят, представительной (репрезентативной). Это обеспечивается как независимостью результатов наблюдений в выборке и случайностью выбора объектов из генеральной совокупности, так и правильным определением объема выборки с учетом всех конкретных условий. Чтобы этого добиться, применяются различные способы получения выборки или отбора.
Отбор, не требующий разбиения генеральной совокупности на части, например простой случайный бесповторный отбор и простой случайный повторный отбор.
Отбор, при котором генеральная совокупность разбивается на части, например типический, механический, серийный и комбинированный отборы.
На практике чаще всего используют бесповторный отбор, так как повторный отбор в некоторых случаях может оказаться нереализуемым из-за разрушения одного или нескольких элементов.
Статистическая совокупность, расположенная в порядке возрастания или убывания значений изучаемого признака , называется вариационным рядом, а ее объекты – вариантами.
Вариационный ряд называется дискретным, если его члены принимают конкретные изолированные значения. Если элементы вариационного ряда заполняют некоторый интервал, то такой ряд называется непрерывным.
Типичные задачи математической статистики
Методы математической статистики нашли широкое применение в различных областях науки (физике, биологии, медицине, экономике, социологии и др.) и могут применяться для решения различных задач. Однако можно сформулировать три основные (типичные) задачи математической статистики, наиболее часто встречающиеся на практике.
1. Определение закона распределения случайной величины. По результатам независимых наблюдений случайной величины требуется оценить неизвестную функцию распределения или плотность вероятности этой случайной величины.
2. Задача проверки правдоподобия гипотез. Из обширного круга задач, связанных с проверкой статистических гипотез, наиболее типичными являются две задачи. Первая: как согласуются результаты эксперимента с гипотезой о том, что исследуемая случайная величина имеет плотность распределения ? Вторая: не противоречит ли полученная оценка неизвестного параметра выдвинутой гипотезе о значении данного параметра?
3. Задача оценки неизвестных параметров распределения. Предполагается, что закон распределения исследуемой случайной величины известен до опыта из физических или теоретических предположений (например, нормальный). Возникает более узкая задача – определить некоторые параметры (числовые характеристики) случайной величины, т. е. по экспериментальным данным необходимо оценить значения этих параметров. С этой задачей отыскания "подходящих значений" числовых характеристик тесно связана задача оценки их точности и надежности.
Выборочная функция распределения
Пусть изучается некоторая случайная величина (признак) с неизвестным законом распределения. Нужно определить закон из опыта и проверить гипотезу о том, что распределение случайной величины подчиняется именно этому закону. Для этого над случайной величиной производится ряд независимых испытаний (наблюдений), в каждом из которых принимает то или иное значение , ; – количество проведенных опытов. Вот эта совокупность наблюдаемых значений случайной величины и есть выборочная совокупность или выборка, которая представляет собой первичный статистический материал, подлежащий обработке и анализу. Выборка оформляется в виде таблицы, в первом столбце которой записаны номера опытов , а во втором – наблюдаемые значения случайной величины.
Пример. Случайная величина – значения напряжения на выходе генератора шума, взятые через 20 миллисекунд. Выборочная совокупность представлена в виде табл. 8.1.
Таблица 8.1
|
1 |
-2 |
8 |
8 |
15 |
2 |
|
2 |
-6 |
9 |
-3 |
16 |
-3 |
|
3 |
0 |
10 |
1 |
17 |
11 |
|
4 |
-5 |
11 |
11 |
18 |
1 |
|
5 |
-9 |
12 |
9 |
18 |
12 |
|
6 |
0 |
13 |
-8 |
20 |
-2 |
|
7 |
-7 |
14 |
-3 |
Упорядоченные в порядке возрастания значения признака дадут вариационный ряд, который может быть обработан различными методами. Один из таких способов – построение выборочной функции распределения случайной величины.
Выборочной функцией распределения случайной величины называется частота события
.
Для получения значений для заданного аргумента достаточно подсчитать число испытаний, в которых случайная величина приняла значение, меньшее чем , и разделить на общее число проведенных экспериментов.
На рис. 8.1 представлен график выборочной функции распределения случайной величины – напряжения на выходе генератора шума.
-10
-5
0
5
10
1
Рис. 8.1. Выборочная функция распределения
Выборочная функция распределения любой случайной величины, как непрерывной, так и дискретной, представляет собой неубывающую, прерывистую, ступенчатую функцию. При этом разрывы функции происходят при значениях аргумента, равных наблюдаемым значениям случайной величины, а величины разрывов равны частотам этих значений. Если каждое значение встречается по одному разу, то все скачки будут равны .
При увеличении числа опытов , согласно теореме Бернулли (следствие закона больших чисел), для любых частота события приближается (сходится по вероятности) к вероятности этого события. Таким образом, при увеличении выборочная функция распределения сходится по вероятности к истинной функции распределения случайной величины .
Если – непрерывная случайная величина, то при увеличении числа наблюдений число скачков функции увеличивается, а величина скачков уменьшается, и график функции сходится к плавной кривой .
Статистическое распределение выборки.
Полигон и гистограмма
Практически построение решает задачу описания экспериментального материала. Однако при больших построение слишком трудоемко и не всегда наглядно по сравнению с другими видами закона распределения, например .
Для придания выборочной совокупности или вариационному ряду компактности и наглядности статистический материал подвергается дополнительной обработке, т. е. строится так называемое статистическое распределение выборки. Для дискретного вариационного ряда статистическое распределение представляется в виде табл. 8.2, в первой строке которой записываются в возрастающем порядке варианты (элементы выборки) , а во второй – соответствующие им частоты .
Таблица 8.2
|
Варианты |
… |
… |
||||
|
Частоты |
… |
… |
Для непрерывного вариационного ряда весь диапазон наблюдаемых значений случайной величины разбивается на интервалы и подсчитывается количество значений , приходящихся на каждый -й интервал. После деления на общее число опытов , получается частота, соответствующая каждому интервалу:
.
Сумма этих частот должна быть равна единице.
Затем строится таблица, в первой строке которой приводятся в порядке возрастания интервалы, а во второй – соответствующие частоты. Табл. 8.3 и есть статистическое распределение непрерывной выборки.
Таблица 8.3
|
Интервалы |
… |
… |
||||
|
Частоты |
… |
… |
Если наблюдаемое значение случайной величины попадает точно на границу двух интервалов, то такая величина в равной степени принадлежит к обоим интервалам, и поэтому к значениям того и другого разряда прибавляется по .
x1
x2
x6
x3
x4
x5
xi
Рис. 8.2. Полигон
Число интервалов, на которые необходимо группировать статистические данные, не должно быть слишком большим, так как в этом случае статистический ряд становится невыразительным, а частоты в нем могут иметь незакономерные колебания. Но, с другой стороны, количество интервалов не должно быть и слишком малым, потому что в этом случае особенности распределения описываются статистическим распределением лишком грубо. Из практических соображений число интервалов выбирается порядка 1020.
Графически статистическое распределение дискретного статистического ряда представляют в виде полигона (см. рис. 8.2), который строится следующим образом. На оси абсцисс откладываются значения варианта , а на оси ординат соответствующие им частоты . Полученные точки соединяются ломаной линией
Графическое представление статистического распределения непрерывного вариационного ряда называется гистограммой (см. рис. 8.3). На оси абсцисс откладываются интервалы, и на каждом из них, как на основании, строится прямоугольник, площадь которого равна частоте соответствующего разряда. Для одинаковых по ширине интервалов высоты прямоугольников пропорциональны соответствующим частотам. Полная площадь гистограммы равна единице. При увеличении числа испытаний можно выбирать все меньшую и меньшую ширину интервалов и гистограмма будет приближаться к кривой распределения .
Рис. 8.3. Гистограмма
x1
x2
xk
xk+1
Статистическое распределение выборки можно использовать для приближенного построения выборочной функции распределения случайной величины, так как построение точной с несколькими сотнями скачков для всех наблюдаемых значений случайной величины очень трудоемко. На практике достаточно построить по нескольким точкам, в качестве которых выбираются границы интервалов , находящиеся в первой строке статистического распределения. Таким образом, имеем:
.
Соединив полученные точки ломаной линией или плавной кривой, получим приближенный график выборочной функции распределения (см. рис. 8.4).
В зависимости от конкретного содержания задачи в схему построения гистограммы могут быть внесены некоторые изменения. Например, в некоторых задачах целесообразно отказаться от требований равной длины интервалов.
x1
0
Рис. 8.4. Приближенная кривая выборочной
функции распределения
x2
xk+1
xk
1
Наиболее важные распределения
Несколько примеров распределений дискретных и непрерывных случайных величин было приведено в лекциях 7 и 8. Важнейшим с точки зрения приложений математической статистики является нормальное (гауссово) распределение. В статистике широко используются еще три распределения, связанные с нормально распределенными случайными величинами. К ним относятся распределение (Пирсона), t-распределение (Стьюдента) и F-распределение (Снедекора – Фишера).
Стандартное нормальное распределение. Плотность распределения вероятности и функция распределения нормальной случайной величины определяются выражениями соответственно (4.29) и (4.38). Удобнее пользоваться стандартной случайной величиной
, (8.1)
где – математическое ожидание, – среднее квадратичное отклонение нормальной случайной величины .
После подстановки выражения (8.1) в формулы (4.29) и (4.38) получим плотность распределения и функцию распределения стандартной гауссовой случайной величины с нулевым математическим ожиданием и единичной дисперсией ():
, (8.2)
. (8.3)
Таблица функции приведены в прил. 1, а – в прил. 2.
Значение , удовлетворяющее уравнениям:
, (8.4a)
, (8.4б)
где вероятность , называется квантилем порядка или -процентной точкой стандартного нормального распределения.
Распределение . Есть – независимых случайных величин, каждая из которых имеет нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Определяют новую случайную величину
.
Величина называется хи-квадрат случайной величиной с степенями свободы. Число степеней свободы определяет число независимых, или "свободных", квадратов входящих в сумму. Плотность распределения имеет следующий вид:
, (8.5)
где – гамма-функция.
Математическое ожидание случайной величины имеющей распределение , равно , а дисперсия – 2. Кривые распределения для трех значений представлены на рис. 8.5.
Рис. 8.5. Кривые распределения
n=10
n=4
n=1
При увеличении числа степеней свободы -распределение приближается к нормальному. Для случайная величина почти нормальна с математическим ожиданием и дисперсией .
Процентные точки -распределения обозначают через – это решения уравнения
.
Таблица процентных точек распределения приведена в прил. 3.
t-распределение Стьюдента. Есть и –независимые случайные величины, при этом имеет -распределение, а – нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Определяется новая случайная величина
.
Случайная величина подчиняется закону распределения Стьюдента с степенями свободы, плотность распределения которого имеет вид
, . (8.6)
Кривые распределения Стьюдента для трех значений приведены на рис. 8.6.
Математическое ожидание и дисперсия случайной величины равны
.
-4
-2
0
2
t
n=10
n=4
n=1
Рис. 8.6. Кривые t-распределения Стьюдента
fn(t)
Процентные точки t-распределения обозначают через – это решения уравнения
.
Таблица процентных точек t-распределения приведена в прил. 4.
При увеличении числа степеней свободы t-распределение приближается к стандартному гауссовому распределению.
F-распределение Снедекора – Фишера. Есть и – независимые случайные величины, подчиняющиеся распределению с и степенями свободы соответственно. Определяется новая случайная величина
.
Случайная величина называется величиной с и степенями свободы, ее плотность распределения имеет вид
, (8.7)
где .
n2=10
n2=20
n2=300
f
p(f)
Рис. 8.7. Кривые F-распределения для n1=20
Кривые F-распределения при и трех значениях приведены на рис. 8.7.
Математическое ожидание и дисперсия случайной величины определяются формулами
.
Процентные точки F-распределения обозначают через . Эти точки являются решениями уравнения
.
Таблица процентных точек F-распределения приведена в прил. 5.
Лекция 15
ЦЕЛЬ ЛЕКЦИИ: ввести понятие оценки неизвестного параметра распределения и дать классификацию таких оценок; получить точечные и интервальные оценки математического ожидания и дисперсии.
На практике в большинстве случаев закон распределения случайной величины неизвестен, и по результатам наблюдений необходимо оценить числовые характеристики (например, математическое ожидание, дисперсию или другие моменты) или неизвестный параметр , который определяет закон распределения (плотность распределения) изучаемой случайной величины. Так, для показательного распределения или распределения Пуассона достаточно оценить один параметр, а для нормального распределения подлежат оценке уже два параметра – математическое ожидание и дисперсия.
Виды оценок
Случайная величина имеет плотность вероятности , где – неизвестный параметр распределения. В результате эксперимента получены значения этой случайной величины: . Произвести оценку по существу означает, что выборочным значениям случайной величины необходимо поставить в соответствие некоторое значение параметра , т. е. создать некоторую функцию результатов наблюдений , значение которой принимается за оценку параметра . Индекс указывает на количество проведенных опытов.
Любая функция, зависящая от результатов наблюдений, называется статистикой. Так как результаты наблюдений являются случайными величинами, то и статистика тоже будет случайной величиной. Следовательно, оценку неизвестного параметра следует рассматривать как случайную величину, а ее значение, вычисленное по экспериментальным данным объемом , – как одно из возможных значений этой случайной величины.
Оценки параметров распределений (числовых характеристик случайной величины) подразделяются на точечные и интервальные. Точечная оценка параметра определяется одним числом , и ее точность характеризуется дисперсией оценки. Интервальной оценкой называют оценку, которая определяется двумя числами, и – концами интервала, накрывающего оцениваемый параметр с заданной доверительной вероятностью.
Классификация точечных оценок
Чтобы точечная оценка неизвестного параметра была наилучшей с точки зрения точности, необходимо, чтобы она была состоятельной, несмещенной и эффективной.
Состоятельной называется оценка параметра , если она сходится по вероятности к оцениваемому параметру, т. е.
. (8.8)
На основании неравенства Чебышева можно показать, что достаточным условием выполнения соотношения (8.8) является равенство
.
Состоятельность является асимптотической характеристикой оценки при .
Несмещенной называется оценка (оценка без систематической ошибки), математическое ожидание которой равно оцениваемому параметру, т. е.
. (8.9)
Если равенство (8.9) не выполняется, то оценка называется смещенной. Разность называется смещением или систематической ошибкой оценки. Если же равенство (8.9) выполняется лишь при , то соответствующая оценка называется асимптотически несмещенной.
Необходимо отметить, что если состоятельность – практически обязательное условие всех используемых на практике оценок (несостоятельные оценки используются крайне редко), то свойство несмещенности является лишь желательным. Многие часто применяемые оценки свойством несмещенности не обладают.
В общем случае точность оценки некоторого параметра , полученная на основании опытных данных , характеризуется средним квадратом ошибки
,
который можно привести к виду
,
где – дисперсия, – квадрат смещения оценки.
Если оценка несмещенная, то
.
При конечных оценки могут различаться средним квадратом ошибки . Естественно, что, чем меньше эта ошибка, тем теснее группируются значения оценки около оцениваемого параметра. Поэтому всегда желательно, чтобы ошибка оценки была по возможности наименьшей, т. е. выполнялось условие
. (8.10)
Оценку , удовлетворяющую условию (8.10), называют оценкой с минимальным квадратом ошибки.
Эффективной называется оценка , для которой средний квадрат ошибки не больше среднего квадрата ошибки любой другой оценки, т. е.
,
где – любая другая оценка параметра .
Известно, что дисперсия любой несмещенной оценки одного параметра удовлетворяет неравенству Крамера – Рао
,
где – условная плотность распределения вероятностей полученных значений случайной величины при истинном значении параметра .
Таким образом, несмещенная оценка , для которой неравенство Крамера – Рао обращается в равенство, будет эффективной, т. е. такая оценка имеет минимальную дисперсию.
Точечные оценки математического ожидания
и дисперсии
Если рассматривается случайная величина , имеющая математическое ожидание и дисперсию , то оба эти параметра считаются неизвестными. Поэтому над случайной величиной производится независимых опытов, которые дают результаты: . Необходимо найти состоятельные и несмещенные оценки неизвестных параметров и .
В качестве оценок и обычно выбираются соответственно статистическое (выборочное) среднее значение и статистическая (выборочная) дисперсия:
; (8.11)
. (8.12)
Оценка математического ожидания (8.11) является состоятельной согласно закону больших чисел (теорема Чебышева):
.
Математическое ожидание случайной величины
.
Следовательно, оценка является несмещенной.
Дисперсия оценки математического ожидания:
.
Если случайная величина распределена по нормальному закону, то оценка является также и эффективной.
Математическое ожидание оценки дисперсии
.
В то же время
.
Так как , а , то получаем
. (8.13)
Таким образом, – смещенная оценка, хотя является состоятельной и эффективной.
Из формулы (8.13) следует, что для получения несмещенной оценки следует видоизменить выборочную дисперсию (8.12) следующим образом:
, (8.14)
которая считается "лучшей" по сравнению с оценкой (8.12), хотя при больших эти оценки практически равны друг другу.
Методы получения оценок параметров
распределения
Часто на практике на основании анализа физического механизма, порождающего случайную величину , можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки . Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия.
Метод моментов. Метод состоит в приравнивании теоретических моментов соответствующим эмпирическим моментам того же порядка.
Эмпирические начальные моменты -го порядка определяются формулами:
,
а соответствующие им теоретические начальные моменты -го порядка – формулами:
для дискретных случайных величин,
для непрерывных случайных величин,
где – оцениваемый параметр распределения.
Для получения оценок параметров распределения, содержащего два неизвестных параметра и , составляется система из двух уравнений
где и – теоретический и эмпирический центральные моменты второго порядка.
Решением системы уравнений являются оценки и неизвестных параметров распределения и .
Приравняв теоретический эмпирический начальные моменты первого порядка, получаем, что оценкой математического ожидания случайной величины , имеющей произвольное распределение, будет выборочное среднее, т. е. . Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины , имеющей произвольное распределение, определяется формулой
.
Подобным образом можно найти оценки теоретических моментов любого порядка.
Метод моментов отличается простотой и не требует сложных вычислений, но полученные этим методом оценки часто являются неэффективными.
Метод максимального правдоподобия. Метод максимального правдоподобия точечной оценки неизвестных параметров распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.
Пусть – непрерывная случайная величина, которая в результате испытаний приняла значения . Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как представляют собой взаимно независимые величины с одинаковой плотностью вероятности , то функцией правдоподобия называют функцию аргумента :
.
Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения
,
которое явно зависит от результатов испытаний .
Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения
,
которое называется уравнением правдоподобия.
Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему уравнений правдоподобия
.
Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений.
Интервальные оценки параметров
Точность точечных оценок характеризуется их дисперсией. При этом отсутствуют сведения о том, насколько близки полученные оценки истинным значениям параметров. В ряде задач требуется не только найти для параметра подходящее численное значение, но и оценить его точность и надежность. Необходимо узнать, к каким ошибкам может привести замена параметра его точечной оценкой и с какой степенью уверенности следует ожидать, что эти ошибки не выйдут за известные пределы.
Такие задачи особенно актуальны при малом числе опытов , когда точечная оценка в значительной степени случайна и приближенная замена на может привести к значительным ошибкам.
Более полный и надежный способ оценивания параметров распределений заключается в определении не единственного точечного значения, а интервала, который с заданной вероятностью накрывает истинное значение оцениваемого параметра.
Пусть по результатам опытов получена несмещенная оценка параметра . Необходимо оценить возможную ошибку. Выбирается некоторая достаточно большая вероятность (например ), такая, что событие с этой вероятностью можно считать практически достоверным событием, и находится такое значение , для которого
. (8.15)
В этом случае диапазон практически возможных значений ошибки, возникающей при замене на , будет, а большие по абсолютной величине ошибки будут появляться лишь с малой вероятностью .
Выражение (8.15) означает, что с вероятностью неизвестное значение параметра попадет в интервал
. (8.16)
Вероятность называется доверительной вероятностью, а интервал , накрывающий с вероятностью истинное значение параметра, называется доверительным интервалом. Заметим, что неправильно говорить, что значение параметра лежит внутри доверительного интервала с вероятностью . Используемая формулировка (накрывает) означает, что хотя оцениваемый параметр и неизвестен, но он имеет постоянное значение и, следовательно, не имеет разброса, поскольку это не случайная величина.
Задача определения доверительного интервала может быть решена только тогда, когда удается найти закон распределения случайной величины . В общем случае этот закон зависит от закона распределения случайной величины и, следовательно, и от его неизвестных параметров (в частности, и от самого оцениваемого параметра). Однако иногда удается перейти при получении оценки к таким функциям опытных данных, закон распределения которых зависит только от величины и закона распределения случайной величины и не зависит от неизвестных параметров.
Пусть проведено независимых испытаний над случайной величиной , числовые характеристики которой – математическое ожидание и дисперсия – неизвестны. Для этих параметров получены точечные оценки:
; . (8.17)
Требуется найти доверительный интервал , соответствующий доверительной вероятности , для математического ожидания случайной величины .
Так как случайная величина представляет собой сумму независимых и одинаково распределенных случайных величин , то согласно центральной предельной теореме при достаточно больших (на практике порядка 1020) ее закон распределения близок к нормальному. Таким образом получаем, что случайная величина распределена по нормальному закону с математическим ожиданием и дисперсией (см. (7.3–7.4)). Если величина дисперсии неизвестна, то в качестве ее оценки можно использовать . В этом случае найдем такое , для которого
.
При использовании формулы (4.37) получаем
,
где – среднее квадратичное отклонение оценки .
Из уравнения
находим значение :
, (8.18)
где – функция, обратная , – квантиль порядка стандартного нормального распределения.
Таким образом, приближенно решена задача построения доверительного интервала в виде
,
где определяется формулой (8.18).
Чтобы избежать при вычислении обратного интерполирования в таблицах функции , обычно составляется небольшая таблица, в которой приводятся значения квантилей в зависимости от наиболее часто используемых значений доверительной вероятности (табл. 8.4).
|
Таблица 8.4 |
|
|
0,9 |
1,643 |
|
0,95 |
1,960 |
|
0,99 |
2,576 |
|
0,9973 |
3,000 |
|
0,999 |
3,290 |
Величина определяет для нормального закона распределения число средних квадратичных отклонений, которое нужно отложить вправо и влево от центра рассеивания для того, чтобы вероятность попадания на этот участок была равна .
С использованием величины доверительный интервал будет иметь вид
.
Интервальные оценки математического ожидания
и дисперсии нормальных случайных величин
Для случайной величины , имеющей гауссово распределение, найдены точные методы построения доверительных интервалов оценок математического ожидания и дисперсии.
Если случайная величина распределена нормально с математическим ожиданием и дисперсией , то случайная величина
(8.19)
имеет распределение с степенями свободы, а случайная величина
(8.20)
подчиняется закону распределения Стьюдента с степенями свободы.
В формулах (8.19–8.20) и – точечные оценки математического ожидания и дисперсии в соответствии с (8.17).
Для обоих неизвестных параметров и необходимо построить доверительные интервалы.
Для математического ожидания величину (половину длины доверительного интервала) выбираем из условия
. (8.21)
В левой части выражения (8.21) перейдем от случайной величины к величине , распределенной по закону Стьюдента. Для этого умножим обе части неравенства на положительную величину и получим
,
а при использовании (8.20)
,
где величину находим из условия
или .
По таблице процентных точек распределения Стьюдента (прил. 4) находим значение и получаем
,
и соответственно доверительный интервал оценки математического ожидания будет иметь вид
. (8.22)
Для нахождения доверительного интервала оценки дисперсии выразим случайную величину через величину в соответствии с (8.19):
.
Знание закона распределения случайной величины позволяет найти доверительный интервал, в который эта величина попадает с вероятностью . Поскольку распределение асимметрично (см. рис. 8.8), брать интервал симметричным, как для нормального распределения или распределения Стьюдента, неправомерно. Поэтому доверительный интервал строят так, чтобы площади под кривой распределения от 0 до и от до бесконечности были равны :
Рис. 8.8. Доверительный интервал распределения 2
0
z2
z1
2
f(2)
; (8.23)
. (8.24)
Для интеграла (8.24) при заданном по таблице процентных точек распределения (прил. 3) находят . Для получения перепишем выражение (8.23) в виде
,
откуда
.
Таким образом, получаем для случая неизвестного математического ожидания
,
а доверительный интервал
(8.25)
накрывает неизвестную дисперсию с заданной вероятностью .
Пример. Проведено независимых измерений случайной величины , имеющей нормальное распределение. Получены следующие результаты: 20, 21, 21, 25, 19, 22, 23, 23, 18, 21, 21, 17, 18, 24, 20, 22, 21, 19, 19, 22, 18, 23, 22, 18, 20. Необходимо определить 90 %-ные доверительные интервальные оценки математического ожидания и дисперсии измеренной случайной величины.
Точечные оценки математического ожидания и дисперсии:
;
.
По таблице процентных точек t-распределения Стьюдента для и (прил. 4) находим, что . Поэтому в соответствии с (8.22) получаем интервальную оценку математического ожидания в виде
.
По таблице процентных точек распределения для и (прил. 3) находим, что и . Таким образом, согласно (8.25) интервальная оценка дисперсии гауссовой случайной величины будет иметь вид
.
Лекция 16
ЦЕЛЬ ЛЕКЦИИ: определить понятие статистических гипотез и правила их проверки; провести проверку гипотез о равенстве средних значений и дисперсий нормально распределенной случайной величины, сформулировать критерий согласия .
Определение статистической гипотезы
Статистической называется гипотеза о предполагаемом виде неизвестного распределения или утверждение относительно значений одного или нескольких параметров известного распределения. Например, совокупность наблюдаемых значений распределена по закону Пуассона, математическое ожидание случайной величины равно – статистические гипотезы.
Гипотеза, которая подвергается проверке, называется нулевой и обозначается . Альтернативной гипотезой называется гипотеза, конкурирующая с нулевой, т. е. ей противоречащая. Простой называется гипотеза, содержащая только одно предположение. Сложная гипотеза состоит из конечного или бесконечного числа простых гипотез.
Пример. Пусть проверяется гипотеза о равенстве некоторого параметра значению , т. е. гипотеза . В этом случае альтернативной гипотезой можно рассматривать одну из следующих гипотез: ; ; ; . Все приведенные гипотезы простые, и только – сложная гипотеза.
Выбор альтернативной гипотезы определяется формулировкой решаемой задачи. Причина выделения нулевой гипотезы состоит в том, что чаще всего такие гипотезы рассматриваются как утверждения, которые более ценны, если они опровергаются. Это основано на общем принципе, в соответствии с которым теория должна быть отвергнута, если есть противоречащий ей факт, но не обязательно должна быть принята, если противоречащих ей фактов на текущий момент нет.
Правило, по которому выносится решение принять или отклонить гипотезу , называется статистическим критерием. Проверка статистических гипотез осуществляется по результатам наблюдений (экспериментов, опытов), из которых формируют функцию результатов наблюдений, называемую проверочной статистикой. Таким образом, статистический критерий устанавливает, при каких значениях этой статистики проверяемая гипотеза принимается, а при каких она отвергается.
Пусть по независимым наблюдениям случайной величины получена некоторая оценка . Предположим, что есть основания считать истинное значение оцениваемого параметра равным некоторой величине . Однако даже если истинное значение параметра и равно , то оценка , скорее всего, не будет в точности равняться из-за статистической изменчивости, присущей . Поэтому возникает вопрос. Если предположить, что , то при каком отклонении от это предположение (гипотеза) должно быть опровергнуто как несостоятельное? Ответ на этот вопрос можно получить, вычислив вероятность любого значимого отклонения от , используя закон распределения случайной величины .
Если вероятность превышения разности и заданного уровня мала, то этот уровень следует считать значимым и гипотезу следует отвергнуть. Если вероятность превышения данной разности не является малой, то наличие этой разности можно отнести за счет обычной статистической изменчивости и гипотезу можно считать правдоподобной. Природа статистических выводов такова, что при отклонении гипотезы можно заранее оценить вероятность возможной ошибки (отклонения истинной гипотезы); напротив, если гипотеза принята, то это не означает, что она подтверждена с заданной вероятностью. Это лишь означает, что гипотеза согласуется с опытными данными, но возможно, что для другого эксперимента гипотеза будет отвергнута.
Приведенные рассуждения представляют собой простейший вид статистической процедуры, называемой проверкой гипотез. Предполагаем, что – несмещенная оценка параметра – имеет плотность распределения . Если гипотеза верна, то функция должна иметь среднее значение , как это показано на рис. 8.9.
Вероятность того, что величина не будет превышать нижнего уровня , равна
,
Область принятия
Область
отклонения
Площадь равна /2
Область
отклонения
a0
a/2
a1-/2
Площадь равна /2
Площадь равна 1-
Рис. 8.9. Области принятия и отклонения при проверке гипотез
а вероятность того, что превзойдет верхнюю границу , составит
.
Таким образом, вероятность того, что выйдет за пределы интервала с границами и , составит . Величина выбирается настолько малой, чтобы попадание за пределы интервала, заключенного между и , было бы практически невозможным событием. Если в результате эксперимента величина выходит за пределы интервала , то в этом случае есть серьезные основания сомневаться в справедливости проверяемой гипотезы . В самом деле, если гипотеза верна, то значение будет маловероятным, и поэтому гипотезу о равенстве параметра величине следует отвергнуть. С другой стороны, если оценка попадает в интервал , то нет серьезных оснований подвергать сомнению справедливость проверяемой гипотезы , и гипотезу о равенстве следует принять.
Малое значение вероятности , используемое при проверке гипотезы, называется уровнем значимости критерия. Интервал значений , для которых гипотезу следует отвергнуть, называется областью отклонения гипотезы, или критической областью. Интервал значений , при которых гипотезу следует принять, носит название области принятия гипотезы (см. рис. 8.9). Приведенный способ проверки гипотезы называется двусторонним критерием, так как если гипотеза верна, то величина может быть как больше, так и меньше . Необходимо проверять значимость расхождения между и с обеих сторон. В некоторых задачах может оказаться достаточно одностороннего критерия. Например, пусть гипотеза состоит том, что . В этом случае гипотеза будет ошибочной только тогда, когда , а критерий будет использовать только нижнюю границу плотности распределения .
Площадь равна β
a0
a0-d
a0+d
aα/2
a1-α/2
Площадь
равна 1-β
Площадь
равна 1-β
Рис. 8.10. Ошибка второго рода при проверке гипотезы
При проверке статистических гипотез возможны ошибки двух типов. Во-первых, гипотеза может быть отклонена, хотя в действительности она верна. Эта возможная ошибка называется ошибкой первого рода. Во-вторых, гипотеза принимается, хотя фактически она неверна. Такая ошибка называется ошибкой второго рода. Как видно на рис. 8.9, ошибка первого рода происходит в том случае, когда при справедливости гипотезы попадает в область ее отклонения. Таким образом, вероятность ошибки первого рода равна , т. е. уровню значимости критерия.
Для того чтобы найти вероятность ошибки второго рода, следует определить каким-то образом величину отклонения истинного значения параметра от гипотетического значения параметра , которое требуется определить. Предполагается, что истинное значение параметра в действительности равно или (см. рис. 8.10). Если согласно гипотезе , а на самом деле , то вероятность того, что попадет в область принятия гипотезы , т. е. в интервал , составляет . Таким образом, вероятность ошибки второго рода равна при выявлении отклонения истинного значения параметра на от гипотетической величины .
Вероятность называется мощностью критерия. Понятно, что при заданном значении (объеме опытных данных) вероятность ошибки первого рода может быть сделана сколь угодно малой за счет уменьшения уровня значимости . Однако при этом растет вероятность – ошибка второго рода (уменьшается мощность критерия). Единственный способ уменьшить и , и состоит в увеличении объема выборки , используемой при вычислении . Исходя из этих соображений определяется объем необходимых опытных данных в статистических экспериментах.
Проверка гипотезы о равенстве статистических
средних значений
При проведении статистических экспериментов со случайными величинами самой различной природы большое внимание уделяется воспроизводимости результатов опытов при неоднократном повторении серии экспериментов. Часто возникает ситуация, когда среднее значение в одной серии опытов заметно отличается от величины этого параметра в другой серии. Естественно возникает вопрос, чем объяснить обнаруженное расхождение средних значений: либо случайными ошибками, либо это расхождение вызвано какими-то незамеченными или даже неизвестными ранее закономерностями.
Пусть над случайной величиной проводятся две серии опытов. Первая серия объемом испытаний: . Вторая серия экспериментов объемом испытаний: . При этом известно, что случайная величина распределена по нормальному закону с математическим ожиданием и дисперсией в первой серии опытов и параметрами и – во второй.
По экспериментальным данным получены статистические средние значения и . Необходимо проверить гипотезу при альтернативной гипотезе .
Для случая, когда дисперсии и известны, оценки и имеют нормальное распределение с параметрами и соответственно (см. 7.3 и 7.4). Так как случайные величины и независимы, то их разность тоже имеет нормальный закон распределения с параметрами и (нормальный закон устойчив к композиции).
Таким образом, случайная величина
,
которая является нормированной разностью оценок математических ожиданий, имеет нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Эта величина выбирается в качестве проверочной статистики.
Критическим для проверяемой гипотезы являются значения
,
где – квантиль порядка стандартного нормального распределения, т. е. значение гауссовой случайной величины, вероятность попасть правее которой равна (см. рис. 8.9).
Когда дисперсии и неизвестны, то сначала их необходимо оценить по экспериментальным данным. Пусть получены оценки и , которые незначительно отличаются друг от друга. В этом случае считается, что , и получают оценку так называемой "объединенной" дисперсии, используя результаты обеих серий опытов:
.
Случайная величина имеет распределение с степенями свободы. В качестве статистики для проверки гипотезы о равенстве математических ожиданий выбирается случайная величина
,
имеющая распределение Стьюдента с .
Критическими для проверяемой гипотезы являются значения
,
где – -процентная точка распределения Стьюдента с степенями свободы.
Пример. В двух сериях опытов над нормальной случайной величиной объемом соответственно и испытаний оценены математические ожидания и получено, что в первой серии , а во второй – . Дисперсия случайной величины известна: . Нужно при уровне значимости проверить нулевую гипотезу при альтернативной гипотезе .
Значение проверочной статистики равно
.
С использованием табл. 8.4 получаем, что . Так как , то нулевая гипотеза принимается, т. е. математические ожидания совпадают с уровнем значимости 0,1.
Если предположить, что дисперсия случайной величины неизвестна, то ее оценки по результатам обеих серий испытаний оказались равными: и . Кроме этого, предполагаем, что полученные оценки мало отличаются одна от другой, и поэтому вычисляем оценку объединенной дисперсии по формуле
,
а значение проверочной статистики
.
Используя таблицу процентных точек t-распределения Стьюдента (прил. 4), получаем
.
Так как и в этом случае , то гипотеза о равенстве математических ожиданий принимается.
Проверка гипотезы о равенстве двух дисперсий
Проверка гипотезы о равенстве дисперсий особенно важна в различных экспериментах над случайными величинами, поскольку знание дисперсии позволяет оценить степень рассеивания случайной величины и соответственно судить о точности и надежности результатов. Как и в предыдущей задаче, проводятся две серии опытов по и испытаний, а полученные экспериментальные данные имеют нормальное распределение с параметрами и соответственно. По опытным данным найдены несмещенные оценки и . Ставится задача определить, лежит ли различие между этими оценками в границах возможных случайных изменений, т. е. можно ли оба значения рассматривать как оценки дисперсии одной и той же случайной величины , имеющей нормальное распределение.
Таким образом, необходимо проверить гипотезу . В качестве альтернативной гипотезы выбирается гипотеза .
При сравнении дисперсий в качестве проверочной статистики выбирается случайная величина
. (8.26)
Распределение величины находим из условия, что при справедливости гипотезы дисперсии равны, т. е. . Поэтому перепишем выражение (8.26), учитывая (8.19) в виде
. (8.27)
Соотношение (8.27) не зависит от неизвестного параметра . Случайная величина имеет распределение Фишера или F-распределение с и степенями свободы.
Критическими для проверяемой гипотезы являются значения:
; .
Для сокращения объема таблиц процентных точек распределения Фишера за значение принимается большая из полученных оценок дисперсии.
Пример. В двух сериях опытов над нормальной случайной величиной объемом соответственно и испытаний получены оценки дисперсии: ; . Необходимо проверить гипотезу о равенстве дисперсий при уровне значимости .
Величина проверочной статистики равна
.
По таблице процентных точек F-распределения Фишера находим критическое значение
.
Получили, что . Поэтому нулевая гипотеза о равенстве дисперсий принимается с уровнем значимости 0,1.
Критерий согласия
На практике часто возникает задача аппроксимации построенной гистограммы аналитическим выражением, представляющим собой некоторый теоретический закон распределения (плотности вероятности ). При этом стремятся к тому, чтобы такая аппроксимация была в определенном смысле наилучшей. Заметим, что любая аналитическая функция , с помощью которой аппроксимируется статистическое распределение, должна обладать основными свойствами плотности распределения:
.
Чтобы оценить, насколько хорошо выбранный теоретический закон распределения согласуется с экспериментальными данными, используются так называемые критерии согласия. Таких критериев существует несколько, но наиболее часто применяется критерий согласия , предложенный Пирсоном.
Критерий согласия является непараметрическим критерием проверки статистических гипотез в отличие от ранее рассмотренных критериев, которые являются параметрическими.
Пусть проведено независимых опытов, в каждом из которых случайная величина приняла определенное значение. Результаты опытов сведены в интервалов, и построены статистический ряд, выборочная функция распределения и гистограмма, т. е. экспериментальные данные описываются выборочным законом распределения . Необходимо проверить, согласуются ли экспериментальные данные с гипотезой о том, что случайная величина имеет выбранный теоретический закон распределения , который может быть задан функцией распределения или плотностью . Альтернативная гипотеза в этом случае – .
Знание теоретического закона распределения позволяет найти теоретические вероятности попадания случайной величины в каждый интервал (, : .
Проверка согласованности теоретического и статистического распределений сводится к оценке расхождений между теоретическими вероятностями и полученными частотами . В качестве меры расхождения удобно выбрать сумму квадратов отклонений , взятых с некоторыми "весами" :
.
Смысл коэффициентов ("весов" интервалов) состоит в том, что отклонения, относящиеся к разным интервалам, нельзя считать одинаковыми по значимости. То есть одно и то же по абсолютной величине отклонение может быть мало значимым, если сама вероятность велика, и, наоборот, быть заметным, если эта вероятность мала. Естественно, веса выбирать по величине обратно пропорционально вероятностям .
Пирсон доказал, что если выбрать , то при больших закон распределения случайной величины практически не зависит от функции распределения и числа испытаний , а зависит только от числа разрядов и стремится к распределению .
Обозначив через меру расхождения , получаем
. (8.28)
Распределение зависит от параметра , называемого числом "степеней свободы". Для критерия согласия Пирсона , где – число интервалов, – число независимых условий ("связей"), накладываемых на частоты и параметры распределения. Так, при аппроксимации нормального распределения , а при исследовании распределения Пуассона .
Схема применения критерия для оценки согласованности теоретического и статистического распределения сводится к следующим процедурам (этапам):
1. На основании полученных экспериментальных данных рассчитываются значения частот в каждом из интервалов.
2. Вычисляются, исходя из теоретического распределения, вероятности попадания значений случайной величины в интервалы .
3. По формуле (8.28) рассчитывается значение .
4. Определяется число степеней свободы .
5. По таблице процентных значений распределения (прил. 3) определяется вероятность того, что случайная величина, имеющая распределение с степенями свободы превзойдет полученное на этапе 3 значение . Если эта вероятность мала, то гипотеза отбрасывается как неправдоподобная. Если же эта вероятность относительно велика, то гипотезу можно признать не противоречащей опытным данным.
Пример. Пусть случайная величина – значения напряжения на выходе генератора шума. Проверим, согласуются ли полученные данные с нормальным законом распределения.
Получено значений, при этом оценки математического ожидания и среднего квадратичного значения соответственно равны: . Для теоретического нормального распределения с полученными параметрами и вычисляем вероятности попадания в каждый из 10 интервалов по формуле
,
где – границы -го интервала, – функция Лапласа, таблица значений которой приведена в прил. 2.
Затем создается таблица, содержащая число попаданий в каждый разряд и соответствующие значения для .
|
Интервалы |
-10-8 |
-8-6 |
-6-4 |
-4-2 |
-20 |
02 |
24 |
46 |
68 |
810 |
|
5 |
9 |
47 |
85 |
112 |
122 |
69 |
34 |
12 |
5 |
|
|
2,25 |
10,32 |
32,75 |
72,36 |
110,94 |
118,12 |
88,34 |
44,84 |
15,98 |
3,95 |
По формуле (8.28) получаем
.
Так как число степеней свободы , то по таблице процентных точек распределения (прил. 3) находим, что . Поскольку для малой вероятность , следует признать: полученные экспериментальные данные противоречат проверяемой гипотезе о том, что случайная величина распределена по нормальному закону.
При использовании критерия согласия ( или любого другого) положительный ответ нельзя рассматривать как утвердительный о правильности выбранной гипотезы. Определенным является лишь отрицательный ответ, т. е. если полученная вероятность мала, то можно отвергнуть выбранную гипотезу и отбросить ее как явно не согласующуюся с экспериментальными данными. Если же вероятность велика, то это не может считаться доказательством справедливости гипотезы , а указывает только на то, что гипотеза не противоречит экспериментальным данным.
При использовании критерия согласия достаточно большими должны быть не только общее число опытов (несколько сотен), но и значения в отдельных интервалах. Для всех интервалов должно выполняться условие . Если для некоторых интервалов это условие нарушается, то соседние интервалы объединяются в один.