Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Міністерство освіти і науки України
Київський національний університет
Будівництва і архітектури
Курцев Олег Володимирович
УДК 515. 2
Побудова гіперповерхонь та розпізнавання образів
з застосуванням нейронних мереж
Спеціальність: 05. 01. 01 – Прикладна геометрія, інженерна графіка
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Київ – 2002
Дисертацією є рукопис
Робота виконана в Київському національному університеті будівництва і архітектури
(КНУБА) Міністерства освіти і науки України
Науковий керівник: доктор технічних наук, професор
Сазонов Костянтин Олександрович,
Київський національний університет технологій і дизайну,
завідувач кафедри дизайну
Офіційні опоненти:
- доктор технічних наук, професор Корчинський Володимир Михайлович, Дніпропетровський національний університет, завідувач кафедри автоматизації проектування.
- кандидат технічних наук, доцент Несвідомін Віктор Миколайович, Національний аграрний університет України, доцент кафедри нарисної геометрії та машинобудівного креслення.
Провідна установа: Національний технічний університет України (КПІ) Міністерства освіти і науки України, м. Київ
Захист відбудеться 04.12.2002 р. о 13.30 годині на засіданні спеціалізованої вченої ради Д26.056.06 у Київському національному університеті будівництва і архітектури за адресою: 03037, Київ-37, Повітрофлотський проспект, 31
З дисертацією можна ознайомитись у бібліотеці Київського національного університету будівництва і архітектури за адресою 03037, Київ-37, Повітрофлотський проспект, 31
Автореферат розісланий 01.11.2002 р.
Вчений секретар
спеціалізованої вченої ради Плоский В. О.
Загальна характеристика роботи
Геометричне моделювання в рамках прикладної геометрії є основою більшості методів, інструментальних засобів та алгоритмів розв'язання задач в різноманітних галузях діяльності людини. Кінцева мета геометричного моделювання, - геометрична модель, в сучасній геометрії може відповідати не тільки геометричним об'єктам, вона також може відповідати процесам і явищам, що відбуваються в економіці, суспільстві, природі і т.д., тобто може торкатися не тільки геометричної форми. Дозволяючи абстрагуватися від сутності, що моделюється, геометрична модель в комп'ютерній реалізації складає основу подальшого її вивчення з застосуванням методів аналітичної, нарисної, проективної, диференціальної геометрії, теорії кривих ліній і поверхонь та ін.
Задача побудови гіперповерхонь на основі опорних точок і задача розпізнавання образів розглянуті в цій роботі завдяки спільній постановці як задач апроксимації в просторах довільної розмірності. У якості апроксимуючого апарата обрані нейронні мережі.
Актуальність теми. Геометричне моделювання з використанням сучасної обчислювальної техніки створює основу для автоматизації процесу моделювання. У сукупності з методами комп'ютерної графіки геометрична модель отримує наочність, що робить геометричне моделювання в комп'ютерній реалізації найбільш привабливим для користувачів, які не володіють досконально прикладною галуззю і застосовуваним математичним апаратом.
При побудові геометричної моделі за допомогою методів апроксимації у випадку просторів високих розмірностей виникає потреба в апроксимуючому апараті, що припускає єдину реалізацію у випадку просторів довільних розмірностей. В дисертації в якості такого апарата обрані нейронні мережі.
Друга задача, розглянута в роботі - розпізнавання образів і навчання розпізнаванню образів. Навчання розпізнаванню образів є основною задачею штучного інтелекту, розпізнавання зорових образів є також однією з важливих задач комп'ютерної графіки. Протягом останніх сорока років інтерес до проблем розпізнавання образів не зменшується. Існує множина задач розпізнавання і також множина задач, які зводяться до задачі розпізнавання. Вона, у загальному випадку, є проблемою, або, іншими словами, розв'язана тільки в деяких окремих випадках. При застосуванні нейронних мереж для розв'язання задач розпізнавання зорових образів та підвищення якості розпізнавання є потреба в розробці методів попередньої обробки зображень.
Зв'язок роботи з науковими програмами, планами, темами. Робота виконана в узгодженні з науковими програмами кафедри нарисної геометрії, інженерної та машинної графіки Київського національного університету будівництва і архітектури.
Мета і задачі дослідження. Мета роботи - розробка методики автоматизованої побудови гіперповерхонь за допомогою нейронних мереж (далі НМ), розробка системи розпізнавання і навчання розпізнаванню образів, включаючи попереднє опрацювання зображень.
Об'єктом дослідження є:
· процес побудови поверхонь у просторах довільних розмірностей;
· процес розпізнавання образів і навчання розпізнаванню образів.
Предмет дослідження:
· алгоритми і методи моделювання гіперповерхонь на основі наборів опорних точок з використанням НМ;
· алгоритми і методи комп'ютерного розпізнавання образів з використанням НМ.
Методи дослідження. Для розв'язання поставлених у роботі задач залучалися методи, засновані на сучасних досягненнях теорії нейронних мереж, методів оптимізації, теорії графів і мереж, теорії кривих ліній і поверхонь, диференціальної геометрії, комп'ютерної графіки, опрацювання зображень, математичного аналізу і методів диференціального й інтегрального числень.
Методи геометричного моделювання і пов'язані з ними в рамках прикладної геометрії, які залучалися до дисертаційних досліджень, розвиваються на основі теоретичної бази, створеної та розвинутої вітчизняними та зарубіжними вченими:
· в теорії кривих ліній і поверхонь: В. В. Ванін, М. Я. Громов, М. С. Гумен, С. М. Ковальов, В. Є. Михайленко, В. М. Найдиш, В. С. Обухова, А. В. Павлов, О. Л. Підгорний, А. М. Підкоритов, І. А. Скидан, С. А. Фролов, П. Без'є, П. Жермен-Лакур, Ф. Пістр, Д. Фергюсон та багато інших;
· в комп'ютерній графіці і геометричному моделюванні: Ю. І. Бадаєв, С. М. Ковальов, В. М. Корчинський, В. Г. Лі, Е. В. Мартин, К. О. Сазонов, І. А. Скидан, Л. Аммерал, М. Пратт, Ф. Препарати та багато інших;
· в геометричних перетвореннях простору: Ю. І. Бадаєв, І. С. Джапарідзе, Г. С. Іванов, М. І. Кованцов, В. М. Корчинський, О. Л. Підгорний, В. О. Плоский, В. Бляшке та багато інших;
Залучалися також методи прикладного програмування з використанням об'єктно-орієнтованого підходу.
Наукова новизна отриманих результатів.
1. Вперше розроблено методику опису та розв'язання задачі геометричного моделювання в просторах багатьох вимірів з використанням нейронних мереж.
2. На основі аналізу поверхонь помилок, що виникають у ряді задач моделювання поверхонь за допомогою нейронних мереж, запропоновано метод, що забезпечує у визначених умовах можливість виключення припинення процесу оптимізації після додавання нових параметрів, що змінюються.
3. Запропоновано засоби побудови ряду поверхонь за допомогою нейронних мереж на основі функцій із точками, що осцилюють, на підґрунті аналізу поверхонь помилок.
4. Розроблено оригінальну методику розв'язання деяких задач розпізнавання і навчання розпізнаванню зорових образів за допомогою нейронних мереж, що включає попереднє опрацювання зображення з метою одержання вхідних векторів нейронної мережі.
5. Вперше розроблено програми та технології їх використання, що реалізують теоретичні результати дисертаційних досліджень в галузях геометричного моделювання в просторах з довільною кількістю вимірів, розпізнавання образів та трасування контурів.
Достовірність результатів наочно підтверджується програмними реалізаціями та аналізом отриманих результатів.
Практичне значення одержаних результатів. Результати досліджень, отримані в дисертації, та програмні реалізації є науковою основою для побудови та аналізу геометричних моделей об'єктів, процесів і явищ, що не допускають опису за допомогою інших методів моделювання в зв'язку з невідомим законом функціонування або високою розмірністю задачі.
В рамках дисертаційної праці розроблена методика геометричного моделювання за допомогою НМ. На основі цієї методики розроблене програмне забезпечення для опису та розв'язання задач геометричного моделювання в різноманітних галузях діяльності людини. Система NeurEx 1.05, розроблена в рамках дисертації, дозволяє описати задачу побудови багатовимірної геометричної моделі на спеціалізованій штучній мові та отримати наочно модель у вигляді тривимірних та двовимірних перетинів. За допомогою NeurEx вдалося розв'язати задачу побудови геометричної моделі залежності діагнозу від симптомокомплексу при класифікації деяких захворювань терапевтичного профілю за етіологічними та симптоматичними ознаками. Інша розв'язана задача – побудова геометричної моделі роботи фільтрувального обладнання для прогнозування часу наявності критичної густини осаду. Крім того, система NeurEx пройшла успішне випробування при побудові поверхонь відомої форми.
Задача розпізнавання образів розглянута в роботі як задача апроксимації в багатовимірних просторах, на основі цього розроблена методика розпізнавання та навчання розпізнаванню образів за допомогою НМ. В роботі розроблені ефективні методи попередньої обробки зображень з ціллю отримання вхідного вектора НМ. Один з таких методів знайшов застосування в окремій системі автоматичного розпізнавання контурів викройок оббивки м'яких меблів за наявними викройками з картону та інших матеріалів. В результаті обробки, з достатньою для меблевого виробництва точністю, отримуються комп'ютерні моделі викройок, придатні для наступного опрацювання системами оптимального розкрою.
Особистий внесок здобувача. Особисто автором розроблена методика побудови гіперповерхонь і навчання розпізнавання образів за допомогою НМ. На основі отриманих результатів автором розроблена комп'ютерна система геометричного моделювання в просторах довільних розмірностей, система трасування та система навчання розпізнаванню рукописних символів.
Апробація результатів дисертації. Основні положення дисертаційної роботи доповідались і обговорювались на міжнародній науково-практичній конференції “Сучасні проблеми геометричного моделювання” (м. Мелітополь, 1999 р.), науково-практичних конференціях 61-й (2000 р.), 62-й (2001 р.), 63-й (2002 р.) Київського національного університету будівництва і архітектури, міжнародній науково-практичній конференції “Сучасні проблеми геометричного моделювання” (м. Харків, 2001 р.).
Публікації. За матеріалами дисертаційних досліджень опубліковано 6 праць (всі у виданнях, рекомендованих ВАК України).
Структура й обсяг роботи. Дисертація складається із вступу, чотирьох розділів, загальних висновків, списку використаних джерел із 105 найменувань. Містить 127 сторінок основного тексту, 68 рисунків.
Зміст роботи
У вступі розкрито сутність і стан наукової проблеми, сформульовано актуальність обраної теми, сформульовано мету і задачі дослідження, показано наукову новизну та теоретичну і практичну значущість отриманих результатів.
У першому розділі розглянуті сучасні підходи до побудови поверхонь та гіперповерхонь на основі опорних точок, виконана їх загальна характеристика та межі ефективного використання. Також розглянуто основні відомі алгоритми і методи розпізнавання образів та навчання розпізнаванню образів. Задача навчання розпізнаванню образів розглянута як задача апроксимації у просторах великих розмірностей. В неконструктивній формі вказано на необмежені апроксимаційні можливості НМ та на складності, що виникають при їхньому використанні.
У другому розділі розглядаються питання побудови поверхонь в гіперпросторах на основі опорних точок. Задача цієї побудови ставиться як задача апроксимації в просторах довільної розмірності. Запропоновано способи розв'язання деяких проблем при навчанні НМ, таких як проблема можливості представлення і насичення.
При застосуванні нейронних мереж для апроксимації поверхонь у випадку незадовільного розв'язання через брак параметрів, що змінюються, виникає потреба в додаванні нейронів у вже навчену мережу з метою зменшення похибки апроксимації поверхні. Але при цьому в багатьох випадках спостерігається припинення процесу оптимізації параметрів мережі, що потребує аналізу поведінки навченої НМ при додаванні нейронів. Через надзвичайно складний аналіз реально застосовуваних НМ, в роботі його наведено на прикладі дуже простої мережі з одним параметром, що змінюється, у яку потім додається ще один параметр і робляться певні узагальнення.
Нехай спочатку мережа функціонує за наступним законом:
(1)
де - експонентний сигмоїд з нульовим порогом, - єдиний параметр, що змінюється.
Нехай мережа навчається відображати наступну функцію, визначену в єдиній точці і має в цій точці значення . Побудуємо функцію помилки:
(2)
Рис. 1. Функція помилки
Можна показати, що отримана функція має неперервну, позитивну на всій області визначення похідну (рис. 1), що прагне до нуля тільки при . При комп'ютерній реалізації навчання може продовжуватися доти, поки похідна не стане за модулем менше, ніж мінімальне дійсне число, що представляється комп'ютером.
Аналіз багатьох мереж, виконаний в роботі, при розв'язанні реальних задач свідчить, що при додаванні додаткових параметрів у вже навчену мережу велика ймовірність занадто малих часткових похідних функції помилки по знову доданих параметрах. Отже, додамо до мережі (1) додатковий параметр, так, що вона тепер функціонує за наступним законом:
Рис. 2
(3)
Функція помилки:
(4)
(5)
На рис. 2 зображена поверхня помилки для мережі з законом функціонування (3). Жирною лінією показана функція помилки до додавання параметра . Стрілка вказує напрям руху при навчанні вихідної мережі (1). У даному випадку після додавання параметра мережа не зможе продовжувати навчання, через дуже малу часткову похідну (5):
Межа чисельника при очевидно дорівнює одиниці. Межі перших двох множників знаменника кінцеві. Межа третього множника знаменника дорівнює нескінченності. Отже (5), часткова похідна функції помилки прагне до нуль-функції. Це доводить практичну неможливість подальшого навчання.
(5)
З проведеного аналізу зроблено висновок про необхідність повторного навчання НМ. Це підтверджує також серія експериментів з додаванням нейронів і продовженням навчання. У жодному експерименті після додавання нейронів не спостерігалося значного поліпшення функції помилки. Дійсно, у багатьох випадках після навчання спостерігаються досить великі за модулем значення деяких вагових коефіцієнтів. Імовірність значного зменшення функції помилки при навчанні після додавання нейронів за рахунок влучення в стан поблизу спуску на поверхні помилки дуже мала.
З оглядом на наведений аналіз в роботі запропоновано метод, який дозволяє уникнути припинення процесу навчання після додавання нейронів. Він полягає в “стиску” усіх вагових коефіцієнтів під впливом однієї з сигмовідних функцій, що відображають вагові коефіцієнти на необхідний відрізок [-b…b]:
, (7)
де - нове значення i-го вагового коефіцієнту;
- вихідне значення i-го вагового коефіцієнту;
L – кількість вагових коефіцієнтів; s – стискаюча функція.
Використання сигмовідних функцій цікаво тим, що невеликі вагові коефіцієнти зміняться незначно, а скільки завгодно великі після стиску не будуть виходити за межі відрізку [-b…b].
Рис. 3
На рис. 3 зображені два стани мережі до стиску і після стиску.
На рис. 4 показано поведінку мережі з доданим ваговим коефіцієнтом після стиску. Горизонтальною стрілкою зазначений новий стан НМ. Видно, що в даному випадку буде знайдене краще розв'язання.
Далі в другому розділі розглянуті ускладнення при побудові кривих у двовимірному просторі та запропоновані засоби позбавлення цих ускладнень. Розглянуто роботу методу на прикладі залежностей типу , , (рис. 5), та на прикладі більш складних залежностей (рис. 9).
Ускладнення, що виникають при побудові кривих з точками, що осцилюють, призвели до аналізу поверхонь помилки для таких точок. При навчанні за допомогою алгоритму зворотного поширення, на кожному кроці алгоритму НМ переходить у стан, що зменшує функцію помилки для поточної навчальної пари. На кожному кроці навчання в обчисленні градієнта бере участь тільки одна навчальна пара, тому не виключено та ймовірно, що переміщення в напрямі поточного антиградієнта збільшить функцію помилки для деяких інших навчальних пар. Розглянемо таку ситуацію на прикладі мережі (1), що будується на основі наступної функції, визначеної усього в двох точках:
Рис. 4
(8)
Рис. 5
Побудуємо для мережі (1) функцію помилки для першої навчальної пари в (8):
(9)
На рис. 6 зображена поверхня помилки (9). Чорною стрілкою показано вектор антиградієнта в точці (0.8, 0).
Функція помилки для другої навчальної пари має вигляд:
(10)
На рис. 7 мережа робить крок, що зменшує помилку для другої навчальної пари, але збільшує її для першої навчальної пари. У даному прикладі обидва навчальних кроку збільшать загальну функцію помилки:
Рис. 6
(11)
На рис. 8 зображена загальна поверхня помилки для даного прикладу. Видно також, що обидва попередніх кроку погіршують загальну функцію помилки. Подібна ситуація виникає при моделюванні поверхонь на основі функцій з точками, що осцилюють. Для таких точок цілком закономірною є ситуація, коли сума градієнтів, отриманих на основі функцій помилки для інших точок, цілком анулює градієнт, отриманий для даної точки, що осцилює. Крім того, поверхня помилки для такої
Рис. 7
точки буде різко відрізнятися від поверхні помилки для найближчих до неї точок. Тому кроки алгоритму зворотного поширення, що відповідають таким точкам, можуть неприпустимо слабко впливати на процес навчання. Іноді ця властивість може стати корисною, наприклад, у випадку свідомо невірних вихідних даних.
Рис. 8
У випадку якщо точки, що осциллюють, не випадкові, запропоновано наступний ефективний у багатьох випадках метод, що є спеціальною доробкою алгоритму зворотного поширення. Цей метод ґрунтується на евристиці, що коректує швидкість навчання у залежності від помилки для поточної навчальної пари.
Суть методу полягає в наступному: якщо для поточного кроку алгоритму зворотного поширення помилка мережі для поточної навчальної пари перевищує деяку константу , зробити ще один крок для цієї навчальної пари, попередньо змінивши швидкість навчання в такий спосіб: , (12)
де - нове значення швидкості навчання, - помилка для поточної навчальної пари. Після додаткового кроку необхідно повернути попереднє значення швидкості навчання. Константи і K повинні підбиратися, в залежності від особливостей задачі. При такому підході здійснюється більш інтенсивне навчання для точок, яким відповідають великі значення помилки, у більшості випадків це і є точки, що осциллюють.
Рис. 9. Стрибкоподібна крива
У випадку простору 2D метод побудови кривих з використанням НМ показав себе досить ефективним. У випадку з простором 3D залишаються справедливими усі факти, викладені вище. Наведено декілька прикладів побудови поверхонь. Усі поверхні побудовані за допомогою розробленої в роботі системи NeurEx. Як і в інших випадках, поверхні будуються на основі опорних точок. У випадку 3D функція, що апроксимується, має вигляд (13):
Рис. 10 Рис. 9
(13)
де - бажаний вихід при подачі на вхід вектора , .
Для функції (14) отримана поверхня на рис. 9.
(14)
Наступний приклад демонструє поверхню, побудовану НМ з двома нейронами в схованому шарі на основі 24 точок, по 12 на кожен відрізок прямої, проведених через вершини куба (рис. 10). Отриману поверхню та опорні точки зображено на рис. 11. На рис. 12 наведено інше можливе розв'язання.
Рис. 11 Рис. 12
Поверхня на рис. 13 побудована на основі підмножини точок поверхні, що описується функцією , причому область визначення функції, що апроксимується, обмежена , і складається з 36 вузлових точок. Поверхня побудована з кроком 0.01. НМ містила 6 нейронів у схованому шарі, загальна помилка для 36 точок склала 0.15063, максимальна помилка 0.088837.
Рис. 13
Експерименти проводилися на прикладах багатьох поверхонь. В усіх випадках результат був цілком задовільним. Експерименти також показали, що в багатьох випадках зайві нейрони небажані, тому що можуть привести до незадовільних результатів. Відбувається це тому, що мережа, яка має дуже велику кількість параметрів, має також велику гнучкість, яка може привести до непередбачуваних результатів в проміжних точках. Одна з привабливих особливостей НМ полягає у відсутності прив'язки зв'язаних з нею методів апроксимації до якоїсь конкретної розмірності. Обмеження розмірності можуть бути зв'язані тільки з обмеженими можливостями обчислювальної техніки. Забігаючи наперед, відзначимо, що у випадку застосування НМ при розпізнаванні образів іноді розглядаються апроксимаційні задачі в просторах з кількома сотнями вимірів.
Оскільки простори розмірності вище трьох не мають геометричної інтерпретації, візуалізація поверхонь здійснюється у вигляді тривимірних перетинів. Для цього фіксуються деякі параметри НМ, залишаючи вільними два тих, що цікавлять, котрі виступають в якості осі абсцис і ординат. У системі NeurEx, розробленої в рамках дисертації, є всі необхідні засоби для одержання як тривимірних, так і двовимірних перетинів. В роботі наведено кілька прикладів апроксимації в просторі 4D. У наступному прикладі гіперповерхня, що аппроксимується, в перетинах зі значеннями третього параметра 1, 0, –1 повинна апроксимувати сегменти конуса, оберненого конуса і сфери відповідно (рис. 14). У даному прикладі навчалася мережа з 18 нейронами в схованому шарі на основі 243 точок. Загальна помилка склала 0.398609. На рисунках 14 зображені тривимірні перетини отриманої поверхні з кроком ~0.33.
-1 -0.66 -0.33
0 0.66 1
Рис. 14
Наведені приклади у випадках просторів розмірностей від 2 до 4 демонструють можливості методики побудови гіперповерхонь та можливості системи NeurEx, розробленої в рамках дисертації.
В третьому розділі розглядається задача розпізнавання зорових образів з попередньою обробкою зображень. Основними посиланнями до створення системи розпізнавання, що здатна до навчання на основі НМ є два факти:
1. НМ – потужний апарат для апроксимації в просторах довільної розмірності.
2. Є всі підстави (висловлені в першому розділі) для постановки задачі навчання розпізнаванню, як задачі апроксимації.
Умовимося розглядати зорові образи як растри розмірності wxh, де w – ширина растру, h – висота растру, тобто растр містить h рядків і w стовпців.
Елементарний елемент растру прийнято називати пікселем pij, де i, j – координати пікселя. Будемо розглядати тільки повнокольорові зображення. При цьому кожен піксель має колір, описуваний трійкою цілих чисел (R, G, B), кожне в діапазоні [0..255]. Задачу розпізнавання зорових образів розглянуто як задачу апроксимації, але вихідними даними повинен бути набір векторів, а не растрів. Не можна ототожнювати поняття вектора і растра, бо навіть зв'язок між ними зовсім не очевидний. Тому системі розпізнавання необхідний блок попередньої обробки зображення, що ставить у відповідність вхідному зображенню вектор, придатний для обробки нейронною мережею. При навчанні розпізнаванню необхідна також інформація про належність кожного растра конкретному образу.
Друге питання, яке розглянуте в третьому розділі, це конфігурація НМ, що буде навчатися і після навчання виконувати розпізнавання. Від конфігурації буде залежати розмірність векторів, одержуваних після обробки вхідних растрів блоком попередньої обробки зображень. Сама конфігурація повинна залежати від складності задачі розпізнавання. Крім того, виходи НМ повинні допускати просту інтерпретацію.
Отже, вихідною інформацією для побудови системи розпізнавання є набір растрів, причому про кожен растр відомо, якому образу він належить. Цей набір перетвориться в навчальну послідовність. При безпосередньому розпізнаванні блок попередньої обробки зображень за тими ж правилами дозволить одержати вхідний вектор для НМ. Виходи НМ при цьому будуть інтерпретовані в назву образа, що відповідає вихідному вектору.
Отже, наведемо загальну схему системи розпізнавання під час навчання (рис. 15):
Рис. 15. Схема системи розпізнавання під час навчання
Згідно укрупненої схеми системи розпізнавання, поставлені та розв'язані наступні задачі:
1. Визначення конфігурації НМ, здатної розв'язати поставлену задачу розпізнавання.
a. Визначення кількості входів НМ – може залежати від кількості образів, що розпізнаються, та від їхньої неоднорідності.
b. Визначення кількості виходів НМ, що залежить, як правило, від кількості образів, що розпізнаються.
2. Приведення зображення у вигляді растру до вигляду, придатного для обробки НМ заданої конфігурації.
3. Встановлення відповідності між інформацією про належність певному образу з виходами НМ.
Розглянуто два методи попередньої обробки растрів для отримання вхідних векторів НМ. Перший - метод простого масштабування (рис. 16).
Рис. 16
Піксель шуканого растру з координатами (x, y) ставиться у відповідність пікселю з координатами (xs, ys) за наступними формулами:
(15)
(16)
де , .
Другий метод - метод контрольних прямих, який згадується при описі алгоритмів, не зв'язаних з використанням НМ. В роботі запропоновано використання цього методу для перетворення вихідного зображення перед обробкою НМ, що дозволить істотно зменшити розмірність задачі апроксимації. Зроблено припущення, що вдасться досить повно описати вихідне зображення вектором набагато меншої розмірності, ніж у попередньому методі.
У загальному вигляді цей метод можна записати як послідовність наступних дій:
1. Визначення набору контрольних прямих, кількість яких дорівнює кількості входів НМ, тобто кожна пряма відповідає одному входу.
2. Визначення кількості точок перетину кожної прямої зі значущими сегментами зображення й одержання вектора з розмірністю, рівною кількості входів НМ.
3. Перетворення вектора, отриманого на попередньому кроці, у вектор, зручний для обробки НМ.
Відзначимо, що на практиці будуть цікавити тільки відрізки прямих, що проходять через значущу частину зображення. Відомо, що оброблювані растри можуть мати різні розміри, тому раціональним рішенням буде ввести для кожного растра нову систему координат K01, поставивши у відповідність лівому нижньому куту растра точку з координатами (0, 0), а правому верхньому - точку з координатами (1, 1).
При цьому кожен відрізок прямої у вихідних координатах растра KWH може бути легко знайдений за наступними формулами:
; (17)
де X, Y – координати в системі KWH,
x, y – координати в системі K01,
W і H – розміри растра в пікселях, ширина і висота відповідно.
Отже, відрізок кожної контрольної прямої може бути заданий за допомогою двох пар чисел, що належать відрізку [0..1].
Розглянуто задачу знаходження кількості точок перетину даної контрольної прямої зі значущими частинами зображення. Для різних задач розпізнавання значущі частини можуть визначатися по-різному. У випадку розпізнавання рукописних символів як значущі фрагменти в роботі використані контури зображення [3].
Третій метод попередньої обробки зображення – метод виявлення різких стрибків яскравості. Для всіх сусідніх пікселів з координатами і на растровій розгортці відрізка виділяється складова яскравості та знаходиться модуль різниці складових яскравості для двох сусідніх пікселів:
(18)
У випадку перевищення порога піксель вважається точкою перетину.
Рис. 17
Такий підхід дозволяє знаходити різкі зміни яскравості у напрямі контрольного відрізка. На рис. 17 праворуч білим кольором зображені точки різкої зміни яскравості у напрямі контрольного відрізка. У цього підходу, в порівнянні з попереднім, є деякі переваги та істотні відмінності:
1. Немає необхідності в обробці растра цілком, розглядаються тільки пікселі у напрямі контрольного відрізка.
2. Не потрібно визначати попередньо приблизні кольори розглянутих областей Sp і S`p.
3. Алгоритм кількісно описує динаміку зміни складової яскравості у напрямі контрольного відрізка.
4. Алгоритм чуттєвий лише до істотної зміни яскравості.
Остання властивість приводить до вимоги невисокої розмитості, тобто достатньої різкості розглянутого зображення. При трасуванні контурів ця вимога не є обов'язковою.
Висока розмитість (рис. 18) змушує зменшувати величину порогу, що призводить до збільшення числа перетинів.
В третьому розділі також приділено увагу питанню конфігурації НМ. Очевидно, що конфігурація залежить від конкретної задачі розпізнавання – кількості розглянутих образів у задачі, кількості прикладів зображень, і обраного методу попередньої обробки зображень. Під конфігурацією мається на увазі:
Рис. 18. Розмите зображення
· кількість входів НМ;
· кількість нейронних шарів;
· кількість нейронів у кожному шарі;
· тип активаційної функції нейронів;
· кількість виходів.
Запропоновано кілька варіантів кодування виходів мережі.
В четвертому розділі наводиться опис програм, розроблених в рамках дисертаційного дослідження – системи NeurEx (рис. 19), системи трасування контурів зображень (рис. 20), та програми, яка демонструє роботу наведених в дисертації методів розпізнавання та попередньої обробки зображень. Всі програми розроблені в середовищі Visual C++ 6 з використанням об'єктно-орієнтованого підходу. Також в четвертому розділі приділено уваги впровадженню результатів дисертаційного дослідження.
Рис. 19. Система NeurEx Рис. 20. Система трасування
Впровадження системи NeurEx здійснено в ТОВ “Науково-виробнича компанія Східна Україна” для моделювання процесу утворення осаду при фільтруванні, та в Центральному військовому госпіталі прикордонних військ України для побудови геометричної моделі залежності діагнозу від симптомокомплексу при класифікації отруєнь за симптоматичними ознаками. Система трасування контурів впроваджена в Дніпропетровському заводі “Прогрес” для отримання комп'ютерних моделей викройок оббивки м'яких меблів за наявними викройками з картону та інших матеріалів, знятих цифровою камерою.
ВИСНОВКИ
Проведені дослідження показали високу ефективність використання НМ для задач геометричного моделювання та значну роль прикладної геометрії при розв'язанні задач в різноманітних галузях діяльності людини.
1. В роботі вперше розроблено методику опису та розв'язання задачі геометричного моделювання в просторах багатьох вимірів з використанням НМ, яка є основою для методів автоматизації процесу побудови геометричних моделей в просторах довільної розмірності.
2. Зроблено аналіз поведінки НМ при додаванні нових параметрів та при апроксимації поверхонь з осцилюючими точками. На основі цього аналізу запропоновано методи виключення припинення процесу оптимізації параметрів нейронної мережі, та методи зміни довжини кроку оптимізації при апроксимації поверхонь з осцилюючими точками.
3. Розроблено комп'ютерну систему NeurEx для автоматизації процесу геометричного моделювання, яка включає інтерпретатор спеціалізованої мови, розробленої для опису задач геометричного моделювання на основі довільно поданих вихідних даних.
4. Задача навчання розпізнаванню образів поставлена як задача апроксимації в багатовимірних просторах, що дозволило відокремити задачу навчання розпізнаванню від задачі попередньої обробки зображень.
5. Розроблено кілька методів попередньої обробки зображень перед розпізнаванням, нечуттєвих до певних спотворень вхідного зображення, які дозволяють отримати вхідні дані для апроксимації та суттєво зменшити розмірність задачі апроксимації за рахунок розгляду тільки значущих частин зображення.
6. Розроблено комп'ютерну систему трасування контурів, яка використовує один з запропонованих в роботі методів попередньої обробки зображень, та дозволяє отримувати векторні образи растрових зображень різноманітної природи.
7. Розроблено програму розпізнавання з застосуванням НМ, що демонструє роботу запропонованої методики навчання розпізнаванню та дозволяє отримувати навчену нейронну мережу, яка здатна до розпізнавання.
8. Результати досліджень впроваджені в Дніпропетровському заводі “Прогрес” для отримання комп'ютерних моделей викройок оббивки м'яких меблів за наявними викройками, знятими цифровою камерою; в ТОВ “Науково-виробнича компанія Східна Україна” для моделювання процесу утворення осаду при фільтруванні, та в Центральному військовому госпіталі прикордонних військ України для побудови геометричної моделі залежності діагнозу від симптомокомплексу при класифікації отруєнь за симптоматичним ознакам, що підтверджується довідками про впровадження.
Список опублікованих праць за темою дисертації
1. Курцев О.В. Применение нейросетей при распознавании образов. Прикладная геометрия и инженерная графика: Труды/ТГАТА – вып.4 – Мелитополь, 1999 г.
2. Курцев О. В. Розпізнавання зображення шахової сітки. /Прикладна геометрія та інженерна графіка: Міжвідомчий науково-технічний збірник. Випуск 67. – К.: КНУБА, 2000.
3. Курцев О. В. Попередня обробка растру перед розпізнаванням. /Прикладна геометрія та інженерна графіка: Міжвідомчий науково-технічний збірник. Випуск 68. – К.: КНУБА, 2000.
4. Курцев О. В. Побудова параметричних кривих з раціональним сигмоїдом у якості базисної функції і задоволенням умови рівності кривини в точці стику. /Прикладна геометрія та інженерна графіка: Міжвідомчий науково-технічний збірник. Випуск 69. – К.: КНУБА, 2001.
5. Курцев О. В. Відновлення функціональної залежності за допомогою нейронних мереж /Сучасні проблеми геометричного моделювання: Зб. праць міжнародної науково – практичної конференції / Харківська державна академія технології та організації харчування – Харків, 2001 – 213с.
6. Курцев О. В. Постановка задачі навчання розпізнаванню образів як задачі апроксимації. /Прикладна геометрія та інженерна графіка: Міжвідомчий науково-технічний збірник. Випуск 71. – К.: КНУБА, 2001.
Курцев О. В. Побудова гіперповерхонь та розпізнавання образів з застосуванням нейронних мереж. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.01.01 – Прикладна геометрія, інженерна графіка. – Київський національний університет будівництва і архітектури, Київ, 2002.
Дисертація присвячена розробці методів і алгоритмів побудови гіперповерхонь та розпізнавання образів за допомогою нейронних мереж. Задача навчання розпізнаванню образів розглядається як задача апроксимації в просторах багатьох вимірів. Розглянуто проблеми, пов'язані з методами апроксимації гіперповерхонь та геометричного моделювання при використанні нейронних мереж. Запропоновано методи виключення припинення процесу оптимізації параметрів нейронної мережі, та методи зміни довжини кроку оптимізації при апроксимації поверхонь з осцилюючими точками. Розроблено методику розв'язання деяких задач розпізнавання і навчання розпізнаванню зорових образів за допомогою нейронних мереж, що включає попереднє опрацювання зображення. Розроблені методи попередньої обробки зображень перед розпізнаванням з метою зменшення розмірності задачі апроксимації за рахунок розгляду тільки значущих частин зображення.
Ключові слова: нейронні мережі, геометричне моделювання, апроксимація, відбудова функціональних залежностей, розпізнавання образів, обробка зображень, зворотне поширення, побудова гіперповерхонь, методи оптимізації.
Курцев О. В. Построение гиперповерхностей и распознавание образов с применением нейронных сетей. – Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.01.01 – Прикладная геометрия, инженерная графика. – Киевский национальный университет строительства и архитектуры, Киев, 2002.
Диссертация посвящена разработке методов и алгоритмов построения гиперповерхностей и распознаванию образов с помощью нейронных сетей. Задача обучения распознаванию образов рассматривается как задача аппроксимации в пространствах высоких размерностей. Рассмотрены проблемы, связанные с методами аппроксимации гиперповерхностей и геометрического моделирования при использовании нейронных сетей. Разработана методика описания и решения задач геометрического моделирования в пространствах произвольной размерности, на основе которой построена компьютерная система NeurEx. Система включает интерпретатор специально разработанного языка описания задачи геометрического моделирования. Проведен анализ поведения нейронной сети при добавлении новых параметров и при аппроксимации поверхностей с осциллирующими точками, на основании которого предложены методы исключения остановки обучения при добавлении в сеть дополнительных параметров, и методы изменения шага оптимизации при аппроксимации поверхностей с осциллирующими точками.
Разработана оригинальная методика решения некоторых задач распознавания и обучения распознаванию зрительных образов с помощью нейронных сетей, которая включает предварительную обработку изображений.
Ключевые слова: нейронные сети, геометрическое моделирование, аппроксимация, восстановление функциональных зависимостей, распознавание образов, обработка изображений, обратное распространение, построение гиперповерхностей, методы оптимизации.
Kurtsev O. V. Hypersurface construction and pattern recognition with using of neural networks. – Manuscript
The thesis for a candidate degree of technical sciences by speciality 05. 01. 01 – Applied geometry, engineering graphics. Kyiv National University of Building and Architecture, Kyiv, 2002
The thesis is devoted to the development of methods and algorithms for hypersurface construction and pattern recognition with using of neural networks. The task of learning of the pattern recognition considered as approximation in multidimensional space. The methods of description and resolving of geometric simulation tasks are considered. Those methods was used as the base of the computer system NeurEx for description and resolving of hypersurface construction task in multidimensional space, which included the interpreter of special language for description tasks of geometric simulation. Original methods of the some pattern recognition task resolving are considered, which included the methods of raster preprocessing.
Key words: neural networks, geometric simulation, pattern recognition, methods of optimization.