Лекція 1 Зміст дисципліни ldquo;Нейрокомп~ютери та нейротехнологіїrdquo; 1
Работа добавлена на сайт samzan.net:
Розділ 1 Нейронні мережі та нейрокомп’ютери. Основні поняття
Лекція 1. Зміст дисципліни “Нейрокомп’ютери та нейротехнології”
1.1 Вступ
Останнє десятиліття минулого сторіччя позначилась створенням та початком практичного застосування нейрокомпьютерів – нових засобів обробки інформації на основі штучних нейронних мереж, що діють за принципами роботи нервової системи мозку. Перевагою нейрокомп’ютерів порівняно із звичайними програмованими комп’ютерами є здатність до навчання на прикладах. Завдяки цьому нейрокоп’ютери здатні знаходити рішення задач, неприступних для звичайних комп’ютерів, для яких формальні методи розв’язку невідомі. Нейрокомп’ютери можуть накопичувати досвід та удосконалювати свою поведінку, що дозволяє розглядати їх як реальні системи штучного інтелекту, прототипи штучного мозку інтелектуальних роботів. Поява та поширення практичного використання нейрокомп’ютерів привело до формування нейротехнології – нової прикладної дисципліни, що вивчає методи застосування нейрокомп’ютерів для вирішення прикладних задач в різних сферах людської діяльності.
Нейрокомп’ютери та нейротехнології зараз використовуються у різних сферах людської діяльності. Вони стають невід’ємною складовою сучасних інтелектуальних систем управління в різних галузях виробництва, енергетики, транспорту, контролю навколишнього середовища. Застосування нейрокомп’ютерів дозволяє прискорити аналіз стану та оптимізувати управління, що забезпечує відчутне збільшення ефективності виробництва. Значного поширення набуло застосування нейрокомп’ютерів в сфері бізнесу та фінансів. Понад 90% банків світу застосовують нейротехнології для аналізу та прогнозування ефективності капіталовкладень. Застосування нейротехнологій для моделювання складних систем дозволяє значно скоротити витрати часу та коштів при проведенні досліджень та розробки нової техніки. Одним з прикладів є використання фірмою Боїнг нейрокомп’ютерної системи управління при випробуваннях нової моделі гіперзвукового літака X-36.
Застосування нейрокоп’ютерних технологій за останні роки стає ознакою рівня розвитку країни. У високорозвинених країнах швидко зростає коло фахівців, для яких нейрокомп’ютери стали предметом професійної діяльності. Існує дефіцит фахівців, що не є професіоналами в цій галузі, але обізнаних з основами нейротехнології на рівні, необхідному для впровадження сучасних нейрокомп’ютерних систем в прикладних галузях. Тому вивчення нейрокомп’ютерів і теорії штучних нейронних мереж введено в програми більшості університетів світу. В багатьох технічних навчальних закладах ці дисципліни викладаються як факультативні. В Інтернеті можна знайти інформацію про навчальні курси, які проводять більшість виробників нейрокомп’ютерної продукції.
В Україні вивчення основ нейроінформатики здебільшого має факультативний характер і проводиться в межах загальної дисципліни “штучний інтелект”. Представлений цикл лекцій є спробою систематичного викладення основ цієї дисципліни на старших курсах університетів. Зміст курсу орієнтований на підготовку фахівців, зданих до самостійної розробки та впровадження сучасних нейротехнологій, а також на перший рік підготовки аспірантів, що спеціалізуються в цій галузі.
1.2. Термінологія штучних нейронних мереж.
Процес формування термінології в галузі штучних нейронних мереж ще далекий від завершення. Але основні поняття вже стабілізувались і їх можна досить чітко визначити.
Штучний нейрон, або просто нейрон – багатовходовий пороговий елемент, що здійснює нелінійне перетворення зваженої суми входних сигналів. Таку зважену суму називають постсинаптичний потенціал (ПСП). Вхід нейрона має назву синапс . Кожний синапс має власну синаптичну вагу (синаптичний коефіцієнт), що може зсмінюватись при навчанні. Характер перетворення постсинаптичного потенціалу нейрона у його вихід визначає активаційна функція нейрона. Крім того існує пороговий потенціал, або просто поріг, що визначає зміщення величини ПСП нейрона.
Нейронна мережа складається з нейронів, між якими існують міжнейронні зв’язки.
Структуру цих зв’язків визначає архітектура нейронної мережі. Начастіше мережа має кілька шарів нейронів, які можуть складатися з нейронів різного типу та мати різну кількість нейронів. Найбільш поширена архітектура мережі прямого розповсюдження (Feed Forward), для якої вхід кожного нейрона наступного шару має зв’язки з усіма нейронами попереднього шару. Входи нейронної мережі часто називають рецепторами, а виходи – ефекторами.
Існуючі моделі нейронних мереж розрізняються за типом нейропарадигми, тобто сукупності ознак які визначають будову, принцип дії та алгоритм навчання. Відомо кілька десятків нейропарадигм і було зроблено кілька спроб дати їх класифікацію. Але через відсутність чіткої послідовності ознак, які б могли стати основою класифікації, жодна з цих спроб не набула визнання. За окремими ознаками існуючі нейропарадигми можна поділяти:
за структурою зв'язків мережі:
- одношарова;
- багатошарова;
- прямого розповсюдження;
- рекурентна (із зворотніми зв’язками);
- каскадна.
за роллю вчителя при навчанні:
- кероване навчання (з учителем);
- самонавчання (без учителя);
- методом штрафування-підкріплення.
за принципом навчання:
- ітеративне;
- неітеративне;
- генетичні алгоритми;
за специфікою методів обробки даних:
- перцептрони;
- ядерні нейромережі;
- нейронна асоціативна пам’ять;
- нейромережі нечіткої логіки.
Наведені системи ознак не є незаперечними і далеко не вичерпують існуючі типи нейропарадигм. Вони віддзеркалюють поточний етап розвитку галузі, коли пропоновані моделі нейронних мереж часто відрізняються лише за другорядними ознаками, або за термінологією. Це значно утруднює орієнтацію користувачів при виборі моделі нейронної мережі та її застосуванні при вирішення конкретних задач.
1.3. Коротка історична довідка
Ідея побудови нейронної машини, що відтворює функції живого мозку людини виникла понад 60 років тому, маже одночасно з початком розробки сучасних електронно-обчислювальних машин. В 1943р. американські вчені У. Мак- Каллок та У. Піттс [1] довели можливість виконання складних логічних обчислень за допомогою мережі з простих порогових елементів- формальних нейронів, названих так за аналогією з нервовими клітинами, порогові властивості яких на той час були добре відомі. В 1949р. Д. Хебб [2] запропонував модель навчання нейрона шляхом зміни провідності входів залежно від величини стимулів та реакції, що дозволяла пояснити механізми пам’яті нейронної мережі. Ці теоретичні розробки створили базу для створення у 1957р. Ф. Розенблаттом першої електронної моделі штучної нейронної мережі – перцептрона, за допомогою якої було проведено успішні експерименти з навчання розпізнаванню простих зображень [3].
Продемонстрована перцептроном здатність до самостійного формування правил розпізнавання шляхом навчання на прикладах правильних рішень викликала значний резонанс у науковому суспільстві. Ідея перцептрона одержала як палких послідовників, так і завзятих опонентів, що вважали хибною саму ідею самостійного навчання автоматів. Прихильників перцептрона приваблювала можливість відтворення складних функцій інтелекту шляхом моделювання відповідних біологічних структур. Головним аргументом опонентів була відсутність аналітичного підгрунття у штучної нейронної мережі та методів її навчання. Тому початий створенням перцептрона романтичний період в розвитку штучних нейронних мереж тривав недовго: в 1969р. відомі американські математики М. Мінський, один з піонерів в галузі штучного інтеллекту, та У. Пайперт опублікувли розгромну критику перцептрона, яка спричинила припинення майже на 15 років фінансування досліджень в галузі штучних нейронних мереж, що на той час були розгорнуті майже у всіх промислово розвинених країнах світу [4].
Відновлення цих досліджень сталося лише наприкінці 80-х р.р. минулого сторіччя, коли, з одного боку, було розроблено нові моделі штучних нейронних мереж та досягнуто більш досконалого математичного обгрунтування методів їх навчання, а з іншого – було з’ясовано наявність фундаментальних обмежень формальних методів при моделюванні функцій інтелекту. За минулі чверть століття було виконано кілька широкомасштабних національних та міжнародних програм досліджень, метою яких було створення потужних нейрокомп’ютерів, здатних потіснити звичайні програмовані комп’ютери. Про масштаби цих програм можна судити з того, що в той час їх порівнювали із проектом створення атомної бомби. Ці проекти мали лише частковий успіх, але, незважаючи на це, було зроблено величезний поступ розробці теоретичних засад штучних нейронних мереж та в реалізації нейрокомп’ютерів. Було створено цілу нейрокомп’ютерну індустрію і розпочато широке впровадження нейронних мереж в різних галузях науки та виробницва [5,6].
Зараз штучні нейронні мережі та нейротехнології є одним з провідних напрямків розвитку високих технологій. Щороку проводяться десятки міжнародних конференцій та сотні наукових семінарів, видаються десятки монографій та наукових журналів, в яких публікуються понад тисячу наукових статей та доповідей з різних аспектів теорії та практики створення та застосування штучних нейронних мереж. Більшість досліджень та розробок здійснюються в США, де створено базу для індустріального виробництва нейрокомп’ютерів, нейрочипів, програмних засобів в галузі штучних нейронних мереж та нейротехнології. Країни Європи, Японії та Південної Азії швидкими темпами наближаються до рівня США. Росія і особливо Китай та Індія докладають зусиль до створення власного інтелектуального та промислового потенціалу в цій галузі. В Україні розробки в галузі нейрокомп’ютерів ще не мають значної державної підтримки, але вже існують десятки наукових колективів, що виконують прикладні розробки на рівні світових наукових центрів і виконують переважно закордонні (США, Ізраїль, Японія, Німеччина, Росія) замовлення на сучасні нейрокомп’ютери та засоби нейротехнології. Спостерігається початок інвестування розробок в цій галузі і вітчизняними замовниками. Як приклад можна навести розробку та впровадження оригінальної нейрокомп’ютерної технології управління енергосистемами у Західній Україні .
1.4. Нейрокомп’ютери в Україні
Дослідження в галузі штучних нейронних мереж в Україні розпочались невдовзі після створення перцептрона Розенблатта в США. Більшість таких досліджень була пов’язана з розробками військової техніки, тому вони невідомі широкому загалу. Відкриті публікації вперше з’явились в 1962р. Це статті академіка В.М. Глушкова [7,8], присвячені теорії перцептрона та робота академіка О.Г. Івахненко [9,10], з питань самоорганізації. Останній був також автором здатного до навчання нейроподібного автомата “АЛЬФА”, на якому ще в 1959р. було виконано перші експерименти з розпізнавання образів [11]. Серед перших вітчизняних досліджень з теорії нейронних мереж можна згадати роботи Ю. П. Зайченко [12] та О.М. Різника [13]. Останньому належить також розробка в 1970р. першого в Європі цифрового нейрокомп’ютера “АДАМ-Д”, що дозволяв моделювати багатошарові нейромережі з 512 нейронів [14]. Напочатку 70рр., після появи критики перцептрона, дослідження штучних нейронних мереж в Україні було припинено і більшість наукових колективів припинило своє існування. Лише в Інституті Кібернетики колектив вчених під керівництвом академіка М.М. Амосова продовжував дослідження і створив низку оригінальних моделей нейронних мереж та інтелектуальних роботів [15]. Тут Е.М. Куссулем було розроблено оригінальну модель асоціативно- проективної нейромережі, на основі якої в 1992р створено надпотужний нейрокомп’ютер В512М [16], що містив понад 60 тис. штучних нейронів. В наступні роки лідерство у створенні нових моделей нейрокоп’ютерів перейняв створений О.М. Різником відділ нейротехнологій Інституту проблем математичних машин і систем НАН України. В 1994р. тут створено нейрокомп’ютер NEUTRAM на основі трансп’ютерів Inmos T800, в якому вперше було реалізовано потоковий принцип організації нейрообчислень [17]. В 1995-96р.р. було створено серію нейропрограм NeuroConstructor–1,-2,-3, в яких вперше реалізовано нові моделі нейронної асоціативної пам'яті та удосконалений псевдоінверсний алгоритм навчання нейронних мереж. Програма NeuroConstructor-2 дозволяла моделювати мережі, що мали до 4000 нейронів. За її допомогою було вирішено низку прикладних задач: виділення складних сигналів з шуму, ідентифікація документів, зокрема виявлення фальшування грошей, моделювання енергетичних систем, зокрема прогнозування навантаження для Київенерго. Починаючи з 1998р. відділ нейротехнологій проводить розробки нейрокомп’ютерів професійного рівня та виконує прикладні розробки в галузі нейротехнологій. Одночасно продовжуються фундаментальні дослідження з теорії модульних нейронних мереж, роботи по удосконаленню нейронної асоціативної пам’яті. Нещодавно завершено розробку багатофункціонального нейрокомп’ютера широкого призначення NeuroLand®, що за основними параметрами відповідає кращим світовим моделям, а за параметрами нейронної асоціативної пам’яті значно перевищує їх [18].
На закінчення цього огляду наведемо кілька прикладних розробок, виконаних у відділі нейротехнологій за останні 2 роки:
1. Задача прогнозування повеней [19]. Цю задачу було поставлено у зв’язку з катастрофічними наслідками несподіваних повеней на гірських річках регіону Карпат. У створеній експериментальній системі нейропрогнозування повеней використовуються дані, спостережень що раз на добу надходять з кількох гідрометеорологічних станцій, розташованих в басейні гірських річок. Створена нейрокомп’ютерна програма видає оперативний прогноз рівня води на наступну добу за даними гідрометеорологічних спостережень за три останніх доби. Для навчання нейрокомп’ютера було використано дані за 4 попередні роки гідрометеорологічних спостережень в регіоні. Помилка прогнозу рівня води біля Ужгорода в середньому становила 3см. і у 95% випадків не перевищувала 18см. Зазначимо, що найбільший підйом води за цей час становив понад 2 метри.
2. Розпізнавання запахів. [20]. Розробка системи типу “штучний ніс” здійснюється за Європейською міжнародною програмою INTAS, в якій беруть участь 6 наукових організацій України, Італії, Росії та Литви. Система складається з нейронної мережі, системи кварцевих резонаторів, на поверхню яких нанесено тонкі адсорбуючі плівки та електронної системи вимірювання частоти резонансу. Нейронна мережа здійснює розпізнавання запахів за характером зміни частоти резонаторів, викликаної адсорбцією молекул ароматичної сполуки. У проведених нами експериментах для навчання нейронної мережі було застосовано записи реакцій сенсора на 6 видів одеколона (загалом –46 прикладів). При введенні нових записів, що були відсутні при навчанні, нейронна мережа правильно розпізнавала запахи у 85 випадках з 100.
3. Нейрокомп’ютер для системи безпеки пасажирів автомобіля. [21]. Ця розробка виконана на замовлення фірми ATI Inc. (США). Нейрокомп’ютер здійснює оцінку розташування пасажира в салоні авто за даними, що надходять від ультразвукових локаторів, розміщених навколо сидіння пасажира і виявляє ситуації, коли є ризик травмування пасажира повітряними мішками безпеки. В таких ситуаціях система безпеки блокує роботу цих мішків. Для навчання нейрокомп’ютера використовуються записи локаційних сигналів, зроблені на дослідному зразку автомобіля для репрезентативного набору пасажирів, що включає осіб різної статі, комплекції, віку, типу одягу і т. ін. Загальна кількість таких записів становить від 300 тис. до 1млн. для кожної моделі авто. Одержану після навчання нейрокомп’ютерну програму переписують у бортовий мікропроцесор автомобіля. За даними численних випробувань нейрокомп’ютер забезпечує правильне розпізнавання ситуації у 98,5% - 99,5% випадках. Зараз таку систему встановлюють на дорогих моделях автомобіля Jaguar.
Контрольні запитання
- Визначення нейрокомп’ютера. Його відмінність від звичайного комп’ютера.
- Що таке нейропарадигма? Ознаки, за якими вони поділяються.
- Коли і ким було створено першу штучну нейромереж? Як вона називалась?
- Коли почались дослідження з штучних нейронних мереж в Україні?
Література до розділу 1
- McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in neurvous activity // Bull. Math. Byophis., 5,-1943.-p.115-133. / Мак-Каллок У.С., Питтс У.В. Логическое исчисление идей, относящихся к нервной активности // в сб. Нейрокомпьютеры и их применение, Ред. А.И. Галушкин, Я.З. Цыпкин, кн.5., - М.: ИПРЖР, 2001.- с.5-22.
- Hebb D.O. The organization of behavior / -J.Wiley, 1949.
- Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain // Psychol. Rev. -1958.-N65. - p.386-408. / Розенблатт Ф. Персептрон: вероятностная модель хранения информации и организации мозга // в сб. Нейрокомпьютеры и их применение, Ред. А.И. Галушкин, Я.З. Цыпкин, кн.5., - М.: ИПРЖР, 2001.- с.29-57.
- Минский М., Пейперт С. Персептроны /–М.: Мир, 1971.
- Hummerstrom D. Neural networks at Work // IEEE Spectrum – 1993.-June. -p.26-32.
- Галушкин А.И. Нейрокомпьютеры в разработках военной техники США // Зарубежная радиоэлектроника – 1995, №6, с. 4-21.
- Глушков В.М. Теория обучения одного класса дискретных персептронов// в сб. Нейрокомпьютнры и их применение, Ред. А.И. Галушкин, Я.З. Цыпкин, кн.5., - М.: ИПРЖР, 2001.- с.115- 133.
- Глушков В.М. К вопросу о самообучении в персептроне // Журнал вычисл. математики и матем. физики, 1962.- №6.- с.1102-1110
- Ивахненко А.Г. О применении теории инвариантности и комбинированного управления к синтезу и анализу обучающихся систем.// Киев: Автоматика. -1961. №5.
- Ивахненко А.Г. Системы самообучающиеся с положительными обратными связями // Киев: Автоматика -1962. №3
- Шлезингер М.И. Опыты по моделированию системы “Альфа” с положительной обратной связью // Киев: Автоматика -1963. №2.
- Зайченко Ю.П. Модель механизма памяти на нейронных сетях // Киев: Автоматика -1965- №5, с79-86.
- Резник А.М. Статистическая модель пластического нейрона//Проблемы нейрокибернетики: т.2 - Ростов-н/Д: изд-во РГУ. -1966. -С.198-203
- Коваль Е.Н., Ладик К.И., Резник А.М. Специализированное вычислительное устройство, моделирующее адаптивную динамическую нейронную сеть // Харьков: Проблемы бионики– 1972 - вып.8, - с.126-133.
- Резник А.М. Многорядные динамические перцептроны // в кн. Перцептрон- система распознавания образов - ред. А.Г. Ивахненко, - Киев: Наукова Думка. – 1975, с.243- 292.
- Нейрокомпьютеры и интеллектуальные роботы: ред. Н.М.Амосов. -Киев: Наук. думка. -1994. -272с.
- Куссуль Э.М. Ассоциативные нейроподобные структуры. - Киев: Наук. думка, -1992. -144с.
- Gorodnichi D. Reznik A. NEUTRAM - A Transputer Based NeuralNetwork Simulator // Proc. SMS 94 TPE Moscow, Sept. 19-24,-1994. P.136-143.
- Резник А.М., Калина Е.А., Сычев А.С., Садовая Е.Г., Дехтяренко А.К., Галинская А.А. Многофункциональный нейрокомпьютер NeuroLand // Математичні машини і системи – 2003 -№1, - с.36-45.
- О.М. Різник, М.Й. Железняк, Д.О. Новицький, К.М. Кужель, Г.В. Дончиць Використання штучної нейронної мережі для короткотермінового прогнозування повеней //Праці Міжн. конф. з індуктивного моделювання МКІМ-2002, Львів, 20-25 травня 2002р.- секція 4-5, -с.96-102.
- A.M. Reznik, A.A. Galinskaja, O.K. Dekhtiarenko, D.W. Novicki A Comparison of Preprocessing Techniques for Matrix QSM Sensors Data Classified by Neural Network // The 10-th Intern. Symp. on Ollfaction and Electronic Nose ISOEN’03, Riga, Latvia, June 25-28, 2003.- Book of abstracts – p.189-192.
- Kussul M., Riznyk A., Sadovaja E., Sitchov A., Chet Tie-Qi A visual solution to modular neural network system development // Proc. of Int.Joint Conf. of Neural Networks IJCNN’02, Honolulu, HI, USA, 12-17 May 2002. vol.1, p. 749-754/
- Прибрам К. Языки мозга // М.: «Прогресс»,1975. 464с.
- Экклз Дж. Физиология синапсов // М.: «Мир». 1966. 395с
2. Особенности методики проведения аудиторской проверки себестоимости на предприятиях оптовой торговли
3. Детская литература России как канал воспроизводства духовных ценностей народа
4. 2000 гр 1 Орлов Антон Глазунов В
5. Облака (Nephelai
6. Классификация основных форм поведения животных
7. Пасажирські перевезення для студентів спеціальностей 7
8. Понятие и общие принципы налогового планирования Сущность налогового планирования заключается в призна
9. Административная юрисдикция
10. лист на надувные лодки Наименование Вес кг
11. это область духовной деятельности которые основывается на особом философском типе мышления лежащем в о
12. Комплексная характеристика туристических ресурсов региона Намисто Славутича
13. тематиці незважаючи на те що прізвище математика на честь якого вони названі читається з -о-- Чебишов.
14. 1] 11 Из истории развития производственного менеджмента [1
15. Общие сведения Generl notion 1.html
16. Душа стесняется лирическим волненьем
17. всё дозволено обесценивая нравственность вместо предполагаемого выбора из нескольких альтернатив
18. Газеты Известия Комсомольская правда Наш Красноярский край могут быть объединены в группу по А
19. РЕФЕРАТ дисертації на здобуття наукового ступеня кандидата медичних наук
20. Наука и журналистика