Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
АКАДЕМІЯ ПЕДАГОГІЧНИХ НАУК УКРАЇНИ
ІНСТИТУТ ВИЩОЇ ОСВІТИ
Краснов Володимир Володимирович
УДК: 614.252.2:681.3
ЕФЕКТИВНІСТЬ ВИКОРИСТАННЯ
КОМП'ЮТЕРНИХ СИСТЕМ КОНТРОЛЮ ЗНАНЬ
В ПІСЛЯДИПЛОМНІЙ МЕДИЧНІЙ ОСВІТІ
13.00.04 - теорія і методика професійної освіти
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня
кандидата педагогічних наук
Київ – 2003
Дисертацією є рукопис.
Робота виконана в Київській медичній академії післядипломної освіти ім. П.Л.Шупика, Міністерство охорони здоров'я України, м. Київ.
Науковий керівник: доктор медичних наук, професор Мінцер Озар Петрович, Київська медична академія післядипломної освіти ім. П.Л.Шупика, завідуючий кафедрою медичної інформатики з курсом педагогіки та психології, м. Київ.
Офіційні опоненти: доктор педагогічних наук, професор Дьомін Анатолій Іванович, Національний аграрний університет, професор кафедри педагогіки, м. Київ;
кандидат педагогічних наук, доцент Хорєв Ігор Олександрович, Військовий гуманітарний інститут Національної Академії оборони України, доцент кафедри військової педагогіки і культури, м. Київ.
Провідна установа: Прикарпатський університет ім. Василя Стефаника, Міністерство освіти і науки України, м. Івано-Франківськ.
Захист відбудеться 30.01. 2003 р. о 14-00 годині на засіданні спеціалізованої вченої ради К 26.456.01 в Інституті вищої освіти АПН України за адресою: 01014, м. Київ, вул. Бастіонна, 9.
З дисертацією можна ознайомитися у бібліотеці Інституту вищої освіти АПН України за адресою: 01014, м. Київ, вул. Бастіонна, 9.
Автореферат розіслано 30.12. 2003 р.
Вчений секретар
спеціалізованої вченої ради Л.С.Горбунова
ЗАГАЛЬНА ХАРАКТЕРИСТИКА ДИСЕРТАЦІЙНОЇ РОБОТИ
Актуальність і доцільність дослідження. Сучасні реформаційні процеси в освіті пов'язані з глобальними соціально-економічними та суспільно-політичними змінами. Освіта повною мірою відтворює інтелектуальний, духовний та економічний потенціал нашого суспільства. Радикальна модернізація освітньої галузі на сучасному етапі розвитку нашої країни є першочерговим завданням, що потребує невідкладного вирішення. Затверджена указом Президента України "Національна доктрина розвитку освіти України у XXI столітті" ставить перед державою і суспільством завдання забезпечити пріоритетність розвитку науки і техніки. Основними напрямками якнайшвидшого розвитку їхніх нагальних проблем, як зазначається в доктрині, є запровадження освітніх інновацій та сучасних інформаційних технологій. Особлива увага надається необхідності забезпечення особистісно-орієнтованого навчання, моніторингу освітнього процесу і підвищення якості та ефективності освітніх послуг.
На жаль, у системі контролю за якістю підготовки фахівців і нині здебільшого переважають так звані "традиційні" форми прийому заліків та іспитів. Незважаючи на те, що за час свого функціонування традиційний контроль знань зазнав значних організаційних змін, його суть залишилася тією ж самою - оцінку знань у кожному конкретному випадку здійснює людина-екзаменатор (або група екзаменаторів). Ця система добре відома та широко розкрито в науковій літературі її недоліки, наприклад, такі як: суб'єктивність оцінок (оцінюючи рівень успішності учнів, викладач до певної міри дає оцінку успішності своєї педагогічної діяльності); обмеженість часу, за який викладач має вирішити долю того, хто екзаменується; великі фізіологічні та психологічні навантаження на випробовуваних; відсутність у студентів стимулу до систематичної самостійної роботи тощо (Мойсеєв Ю., 1998; Циганенко А.Я. та ін., 1998; Розенберг Н.М., 1979; Одерій Л.П., 1995).
Відтак у системах освіти давно намагаються відшукати шляхи подолання негативних аспектів й альтернативні рішення загальноприйнятих іспитів. Багаторічний досвід закордонних медичних шкіл свідчить про велике значення впровадження тестових програм на різних рівнях підготовки лікарів. Практикою доведено, що саме тести дозволяють досягти високого ступеня об'єктивності при оцінці знань. Саме тому перевірка знань за допомогою тестів здебільш стає вагомим елементом практично будь-якого виду освіти (Доскін В.А. та ін., 1994; Володін Б. та ін., 1994). Проблеми, пов'язані з цим обов'язковим компонентом навчального процесу, розглянуто і проаналізовано сучасною педагогікою і психологією в різних напрямках: розробка інноваційних технологій навчання (А.М. Алексюк, А.О. Андрющук, І.М. Богданова, О.С. Зайцев, С.О. Заславська, Т.А. Ільїна, В.А. Козаков, О.В. Лавренко, Е.В. Лузик, О.П. Мінцер, П.Г. Москаленко, П.І. Сікорський, М.А. Чошанов, П.А. Юцявичене та ін.); визначення теоретичних проблем контролю як одного з методів педагогічного стимулювання (І.Є. Булах, Н.М. Буринська, Н.Д. Наумов, Л.П. Одерій, М.М. Ржецький, В.Л. Рисс, Н.Ф. Тализіна тощо); обґрунтування ефективності тестових методик контролю (В.С.Аванесов, В.П.Безпалько, М.М.Олійник, А.І.Ягодзінський, Т.А.Ільїна, Г.Ю.Князєва, С.П.Суворов, Н.Ф.Тализіна і т.д.).
Розвиток медичної науки та індустрії постійно коригує процес медичного навчання: опрацьовуються стандарти медичних дій; формалізуються процедури, що, як вважали раніше, можна було сприймати лише за допомогою чуттєвої сфери фахівця і засвоювати завдяки накопиченню досвіду. Подібні тенденції, у поєднанні з розвитком нових інформаційних технологій, зробили реальністю застосування обчислювальних засобів для автоматизованого збору, збереження, обробки і передачі формалізованої інформації. Це зумовило потужний поштовх для подальшого розвитку медичної тестології. З метою перевірки медичних знань почали впроваджувати різні типи тестових завдань, з'явились автоматизовані процедури проведення атестації тощо (Сторожаков Г.І. та ін., 1991; Miller R. A. et al, 1989; Seelos H.-J., 1992).
Проте темпи розвитку тестології в післядипломному медичному навчанні виявилися неадекватними очікуваним прогнозам.
Серед основних причин, котрі призвели до дискредитації застосування тестології в медицині взагалі і негативного ставлення до тестового контролю знань лікарів зокрема, можна виділити такі: для проведення тестових іспитів використовуються, в основному, тестові завдання альтернативного типу, запозичені з ідеології бланкового контролю (на паперових носіях), які перейняли всі його недоліки і різняться від письмової атестації лише автоматизацією; процедури визначення валідності і надійності тестів перейшли з психології, в деяких випадках, практично без адаптації; ігнорується специфіка об'єктів навчання та своєрідність різних етапів медичного навчання; відсутня єдина систематизована класифікація тестів, пов'язаних із медичною специфікою; немає чітко окреслених методик апробації підготовлених тестів, їх використання в навчальному процесі, а також методик застосування тестових завдань і процедур атестації в медичному навчанні; не визначено чіткі критерії оцінки результатів тестування; не завжди враховуються психологічні та фізіологічні особливості тих, хто атестується, тощо (Копилова І.Ф. та ін., 1997; Панін М., 1998).
Вважаємо, що подолати окреслені проблеми хоча б частково можна за умови комплексного дослідження ефективності тестових методів, з особливим акцентуванням уваги на питаннях автоматизації процедури атестації з урахуванням специфіки предметної галузі, що перевіряється, і підвищенням валідності як самих тестів, так і всієї методики виявлення знань. Крім того, автоматизація дозволяє реалізовувати індивідуально-орієнтовані підходи при контролі знань, що, на нашу думку, також повинно впливати на якість атестації.
Названі проблеми зумовили вибір теми дисертаційного дослідження: "Ефективність використання комп'ютерних систем контролю знань в післядипломній медичній освіті".
Зв'язок роботи з науковими програмами, планами, темами.
Проблемні питання, що висвітлені в дисертаційній роботі, пов'язані з напрямом досліджень кафедри медичної інформатики Київської медичної академії післядипломної освіти ім. П.Л.Шупика, зокрема, з темою "Розробка і впровадження нових методів навчання в післядипломній освіті лікарів та провізорів на основі широкого використання сучасних інформаційних технологій” УДК 61.07.614.251.61:621.3 № держреєстрації 00990000186.
Об'єкт дослідження – система якісного і кількісного контролю знань у післядипломній медичній освіті.
Предмет дослідження – ефективність інформаційно-автоматизованого контролю знань у післядипломній медичній освіті.
Мета дослідження – теоретично обґрунтувати, розробити та експериментально перевірити методику підвищення ефективності автоматизованого контролю знань у післядипломній медичній освіті.
Концепція дослідження. На сучасному етапі розвитку навчально-виховного процесу у вищих закладах освіти методика валідізації автоматизованих процедур атестації - один із найвагоміших засобів підвищення ефективності використання комп'ютерних систем контролю знань у післядипломній медичній освіті. З іншого боку, повільне впровадження такої методики в практику пов'язано з відсутністю теоретично обґрунтованих та практично перевірених дидактичних основ створення та ефективного її застосування.
Ефективність використання комп'ютерних систем контролю знань в післядипломній медичній освіті згідно з результативно-витратною концепцією, може розглядатися як співвідношення між ступенями досягнення мети післядипломної медичної підготовки лікарів і провізорів та витратами, вкладеними в цей процес.
Гіпотеза дослідження полягає у тому, що ефективність автоматизованих систем кваліметрії знань і вмінь лікарів та провізорів можна суттєво підвищити за умови створення адекватної методики визначення і підвищення валідності тестових завдань і процедури атестації, що ґрунтується на закономірності управління навчанням (продуктивність якого залежить від інтенсивності зворотних зв'язків у системі навчання, а також від обґрунтованості коригуючих дій).
Згідно з об'єктом, предметом, метою, концепцією і гіпотезою було визначено такі завдання дослідження:
1. Здійснити теоретичний аналіз ефективності комп'ютерних систем контролю знань у післядипломній медичній освіті та визначити її критерії.
2. Обґрунтувати основні засади побудови систем автоматизованого контролю знань у післядипломній медичній освіті.
3. Розробити методику оцінки ефективності автоматизованої перевірки знань.
4. Створити методику визначення та підвищення валідності процедури атестації і тестових завдань з урахуванням специфіки післядипломного медичного навчання.
5. Розробити методику впровадження індивідуально-орієнтованих підходів у процедуру автоматизованої атестації.
6. На основі проведеного дослідження розробити практичні рекомендації стосовно впровадження ефективного автоматизованого контролю знань у навчальний процес.
Методологічну основу дослідження становлять загальнотеоретичні й методологічні принципи наукового пізнання; концептуальні положення філософії та педагогіки щодо розвитку і всебічного формування особистості; андрагогічний підхід до підвищення кваліфікації лікарів; положення системного, діяльнісного та особистісно-орієнтованого підходів до підготовки спеціалістів; принцип єдності теорії і практики. У дослідженні було використано праці вітчизняних та зарубіжних науковців із педагогіки, історії, філософії, психології, тестології, де знайшли відображення різні аспекти досліджуваної проблеми.
Теоретичною основою дослідження є положення щодо оптимізації педагогічного процесу (Ю.К.Бабанський, М.М.Поташник), системного підходу до післядипломної освіти (М.М.Ващенко, І.П.Жерносек, С.В.Крисюк, В.І.Маслов, В.І.Пуцов), принципів, методів та форм педагогічних вимірювань (В.П. Беспалько, Дж. Гласс, К. Інгенкамп, Дж. Стенлі, Б.Г. Сладкевич та ін.), підходів до контролю знань і умінь студентів вищих навчальних закладів (С.І. Аpхангельський, В.С. Аванесов, В.А. Козаков, А.Г. Молібог тощо) та обґрунтування ефективності тестових методик контролю (В.С.Аванесов, В.П.Безпалько, Т.А.Ільїна, Г.Ю.Князєва, М.М.Олійник, С.П.Суворов, Н.Ф.Тализіна, А.І.Ягодзінський та ін.).
Методи дослідження:
- теоретичні – аналіз та узагальнення літературних джерел, виявлення достовірних фактів про існуючі між явищами зв'язки і взаємозалежність, про закономірні тенденції їх розвитку, порівняння та узагальнення, метод індукції та дедукції, систематизація – що застосовувалися для проведення дослідження проблеми ефективності автоматизованої атестації та здійснення аналізу її сучасного стану, а також розробки класифікації автоматизованих систем контролю знань у післядипломній медичній освіті;
- емпіричні – педагогічного спостереження, метод експертних оцінок, самооцінки, анкетування, бесіди, тестування, статистичної обробки отриманих даних – які використовувалися для педагогічного оцінювання впливу методів визначення і підвищення валідності та особистісно-орієнтованих підходів на ефективність використання автоматизованих систем у перевірці знань, також для кількісного аналізу результатів експерименту і перевірки їх достовірності.
Організація дослідження. Дослідження проводилося протягом 1998 – 2002 років і мало три етапи.
На першому етапі (1998 – 1999 рр.) аналізувалась філософська, педагогічна, психологічна, навчально-методична література з даної тематики; вивчався сучасний стан ефективності автоматизованих атестаційних систем (ААС) в медичній освіті; обґрунтовувалися вихідні теоретичні засади, об'єкт, предмет та мета дослідження, його гіпотеза, конкретизувалися завдання; визначалися критерії оцінки ефективності автоматизованої атестації; розроблялася методика формуючого експерименту.
На другому етапі (1999-2000 рр.) проводився констатуючий та формуючий експеримент, відбувалася експериментальна перевірка розробленої методики визначення та підвищення валідності процедури атестації та тестових завдань, а також методики перевірки ефективності автоматизованої атестації.
На третьому етапі (2000-2002 рр.) аналізувалися результати експерименту; узагальнювалися й уточнювалися концептуальні ідеї дослідження; проводився порівняльний аналіз одержаних результатів педагогічного експерименту; готувалися методичні рекомендації для професорсько-викладацького складу медичних закладів післядипломної освіти; формулювалися загальні висновки та перспективи подальшого вивчення проблеми.
Експериментальна робота проводилась у Київській медичній академії післядипломної освіти ім. П.Л.Шупика. У педагогічному експерименті брали участь 1571 курсант КМАПО, які виконували тестові завдання, та 16 експертів, які зробили 752 висновки.
Наукова новизна полягає в тому, що вперше теоретично обґрунтовано, розроблено та експериментально перевірено методику оцінки ефективності автоматизованого контролю знань у післядипломній медичній освіті; створено методику підвищення валідності тестових завдань і процедур автоматизованої атестації для післядипломної медичної освіти, що ґрунтуються на низці заходів з кількісного визначення компонентів предметної галузі, які необхідні для встановлення взаємозв'язку з критеріями якості знань курсантів, що дало можливість наблизити якість автоматизованої перевірки рівня знань курсантів до експертного рівня.
Вперше розроблено індивідуально-орієнтований підхід до процедури автоматизованої атестації в післядипломній медичній освіті, що ґрунтується на використанні алгоритмів адаптації автоматизованої атестаційної системи до індивідуальних здібностей курсанта в сприйняття інформації, а також на урахуванні результатів попередніх атестацій, що дало можливість підвищити стимулюючу до навчання функцію тестів і ефективність перевірки якості знань курсантів.
Дістали подальшого розвитку питання теоретичного і експериментального обґрунтування основних засад побудови систем контролю знань у післядипломній медичній освіті, що ґрунтуються на врахуванні рівнів засвоєння навчального матеріалу, можливостей автоматизованих систем щодо форм і способів подання матеріалу, обробки відповідей і запитів курсантів, що дало можливість удосконалити процедуру організації екзаменів за допомогою автоматизованих атестаційних систем.
Теоретичне значення дослідження полягає у теоретичному обґрунтуванні сукупності об'єктивних організаційно-педагогічних умов, необхідних для проведення ефективного автоматизованого контролю знань у післядипломній медичній освіті; теоретичному обґрунтуванні методики та критеріїв оцінки ефективності системи комп'ютерного контролю в післядипломній медичній освіті; подальшому теоретичному обґрунтуванні поняття "валідність".
Практичне значення роботи визначається тим, що розроблено і впроваджено:
1. Методику валідізації та індивідуалізації процедури атестації, що використовується в автоматизованій дистанційній системі, яка, в свою чергу, зумовлює контроль знань у межах Internet/Intranet вузла. З даною системою можна ознайомитися по URL: http://www.pu.if.ua/med
2. Методичні рекомендації з систематизації ААС у медицині впроваджено у навчальний процес вищих медичних (фармацевтичних) навчальних закладів III-IV рівнів акредитації МОЗ України (акт про впровадження №23-01-9/156 від 23.09.02). Розроблена методика автоматизованої атестації впроваджена у навчальному процесі факультету вдосконалення викладачів КМАПО ім. П.Л.Шупика (акт про впровадження в учбовий процес кафедри медичної інформатики з курсом педагогіки та психології результатів кандидатської дисертації на циклах, що проходили з 10.02.2000 по 28.03.2002).
Основні висновки та рекомендації можуть бути використані у медичних вузах дипломної та післядипломної освіти з метою підвищення якості навчання та контролю знань. Методика визначення і підвищення ефективності автоматизованих систем контролю знань може бути впроваджена у вищих навчальних закладах будь-якого профілю і особливо медичного. Організація учбового процесу, відповідно до визначених у дисертації процедур контролю знань, дозволить поліпшити якість підготовки лікарів та провізорів. Теоретичні положення й висновки дослідження можуть бути використані при написанні підручників, навчально-методичних посібників з педагогіки та психології.
Особистий внесок здобувача полягає: у теоретичному обґрунтуванні основних ідей і положень автоматизованої атестації лікарів та провізорів у післядипломній медичній освіті; у розробці методики по визначенню та підвищенню валідності процедури автоматизованої атестації та тестових завдань, оцінки ефективності автоматизованої перевірки знань; у створенні методичних рекомендацій для визначення та підвищення валідності процедури атестації та тестових завдань.
Вірогідність результатів дослідження забезпечено методологічним обґрунтуванням вихідних позицій дослідження; системним аналізом теоретичного та емпіричного матеріалу; використанням комплексу методів, адекватних об'єкту, предмету, меті та завданням дослідження; застосуванням всебічного кількісного та якісного аналізу досліджуваних даних; репрезентативністю вибірки для експериментальної роботи; впровадженням результатів експерименту у навчальний процес закладів післядипломної медичної освіти.
Апробація результатів дисертації здійснювалася безпосередньо в процесі педагогічної діяльності автора у КМАПО ім. П.Л.Шупика під час проведення формуючого експерименту в системі професійної підготовки та вдосконалення фахівців. В результаті проведення експерименту з організації автоматизованої атестації лікарів на кафедрах КМАПО ім. П.Л.Шупика показано ефективність запропонованих методик.
Основні положення дослідження апробовано на наукових конференціях: "Організація системи якості медичної допомоги, медичних послуг населенню із застосуванням інформаційних технологій" (Київ, 1999), "Семінар у медицині та фармації" (Київ, 1999), "Сучасний стан вищої освіти в Україні: проблеми та перспективи" (Київ, 2000), "Інформаційні технології в охороні здоров'я та практичній медицині" (Київ, 2001), Перший український з'їзд сімейних лікарів (Львів, 2001), Конференція молодих вчених КМАПО ім. П.Л. Шупика (Київ, 2001), "Практичне заняття у підготовці лікарів і провізорів" (Київ, 2001), "Інформаційні технології в охороні здоров'я та практичній медицині" (Київ, 2002).
Публікації. Результати й основні положення проведеного дослідження викладені у 14-ти публікаціях (11-одноосібних), у тому числі 3-х статтях у наукових фахових журналах, рекомендованих ВАК України. Основні положення і висновки дисертації співавторам не належать.
Структура та обсяг роботи. Дисертація складається зі вступу, трьох розділів, висновків до кожного розділу, загальних висновків, списку використаних джерел (177 найменувань), 4 додатків (21 сторінка). Загальний обсяг дисертації 220 сторінок (основний текст подано на 199 сторінках). Робота містить 45 таблиць та 12 рисунків.
ОСНОВНИЙ ЗМІСТ ДИСЕРТАЦІЇ
У вступі обґрунтовано актуальність і доцільність дослідження з обраної проблеми, визначено об'єкт, предмет, мету, завдання, гіпотезу, методологічні та теоретичні основи дослідження, розкрито його наукову новизну, теоретичне і практичне значення, представлено апробацію результатів дослідження.
У першому розділі – "Теоретичні основи ефективності автоматизованого контролю знань у післядипломній медичній освіті" – проведено психолого-педагогічний аналіз проблеми ефективності автоматизованого контролю знань у післядипломній медичній освіті; обґрунтовано основні засади побудови системи контролю знань; визначено критерії ефективності автоматизованого контролю. Аналіз наукових праць свідчить, що процедури комп'ютерного контролю знань займають важливе місце в педагогічній діагностиці, проте темпи впровадження їх в учбовий процес медичних закладів післядипломної освіти не відповідають первісним прогнозам і жадають більшого. Причинами цього є: певні труднощі формалізації ряду медичних предметних галузей; нехтування індивідуальними віковими і психологічними особливостями тих, хто навчається, основний контингент яких - лікарі з чималим стажем, а іноді і з досвідом діяльності у конкретних напрямках, що значно більший, ніж у викладача; зневажання вимогами до рівнів засвоєння знань; недостатність використання математичного і статистичного апарату, потрібного для практичного застосування теорії тестів.
Проведені в роботі дослідження в окреслених напрямках, на нашу думку, зможуть виправити вказані недоліки ААС, поліпшити результативність контролю і, як наслідок, підвищити ефективність застосування комп'ютерних систем контролю знань, що протягом останніх десяти років активно використовуються в післядипломній медичній освіті при атестації медичних працівників на право ведення медичної діяльності.
В результаті аналізу сучасної наукової літератури (А.І.Ягодзінський, В.С.Аванесов, М.М.Олійник, І.О.Хорєв та ін.) визначено, що ефективність використання комп'ютерних систем контролю знань у післядипломній медичній освіті, згідно з результативно-витратною концепцією, може розглядатись як співвідношення між якістю роботи ААС з визначення знань лікарів і провізорів та витратами на цей процес і представлена як відношення Е=Q/S*100, де Q – якість роботи ААС із визначення знань, S - загальні витрати, які вміщають матеріальні (витрати на розробку, експлуатацію і модернізацію), часові (робота укладачів тестів і експертів в процедурах валідізації) та психофізіологічні (розроблювачів тестів і курсантів) показники.
Досліджено, що експлуатаційні витрати, витрати на розробку і модернізацію ААС (з урахуванням обов'язкового повного оновлення тестових завдань протягом п'яти років складають приблизно 20% від витрат на розробку) в різних підходах комп'ютерної оцінки знань є практично однаковими (розходження у витратах статистично не достовірні). Враховуючи також те, що матеріальні витрати залежать від часових (інші складові матеріальних витрат – купівля техніки та амортизаційні розходи не розглядалися, оскільки основою роботи є порівняльний аналіз), і те, що психофізіологічні фактори впливають на часові, то в обох процедурах контролю знань за допомогою ААС ("традиційній", що застосовується в післядипломній медичній освіті протягом десяти років – ААС0 і розробленій в даному досліджені – ААС1), враховувалися лише часові витрати. Вимір якості здійснювався за допомогою відносних величин.
Відомо, що перевірка якості засвоєння курсантами навчального матеріалу для медичної галузі набуває особливого значення, бо помилка лікаря може призвести до фатальних наслідків. В результаті аналізу наукової та педагогічної літератури (В.С.Аванесов, І.Є.Булах, К.Інгенкамп) визначено критерії якості роботи ААС із контролю знань: об'єктивність, надійність, валідність, розрізнювальна здатність, серед яких валідність (і особливо валідність змісту) є одним з основних параметрів. Наші дані також доводять, що заходи з перевірки і підвищення валідності тестових завдань і процедури атестації, а також врахування індивідуальних особливостей курсантів дозволяють підвищити якість автоматизованого контролю і, як наслідок, підвищити ефективність комп'ютерних систем контролю знань. Тому в дисертаційній роботі основна увага приділялась дослідженню методів визначення і підвищення валідності.
У першому розділі визначено і теоретично обґрунтовано критерії валідності автоматизованої перевірки знань, що відбивають співвідношення диференціювання курсантів за допомогою тесту та експертних висновків, а також щільність розподілу результатів тестових іспитів у відповідних експертних інтервалах оцінок.
На основі теоретичного аналізу проблеми, наукового розгляду досвіду та сучасних розробок вітчизняних і зарубіжних учених визначено, що в післядипломній медичній освіті в систематизації тестів не існує чіткої структури, де втілювалися б останні досягнення в мультимедійному способі подання інформації; не враховано можливості ААС в поданні тестового матеріалу за різними алгоритмами; не визначено чіткі критерії оцінки правильності відповідей; не встановлена відповідність типів тестів рівням засвоєння навчального матеріалу; не визначена специфіка знань, що перевіряються. У результаті досліджень розроблено класифікацію тестових завдань і процедур атестації, яка враховує такі параметри: рівень засвоєння навчального матеріалу; стратегію тестування (визначено лінійність, алгоритмічність, розгалуженість та інтерактивність процедур тестування); організацію пошуку довідкової інформації (з використанням електронних бібліотек); тактику обробки відповідей курсантів; оцінку довідкової інформації за запитом; форми подання матеріалу тощо. Для кожного типу тестового завдання визначено критерії оцінки правильності відповіді.
В рамках запропонованої класифікації тестів і процедур автоматизованої атестації визначено недоліки найпоширенішої в системі контролю знань нерозгалуженої процедури атестації, що базується на тестових завданнях альтернативного типу. Подібні процедури змушують курсантів акцентувати увагу на знаннях, відвернених від реальності і чинити дії, іменовані в класичній медицині як діагностика за аналогією. У реальній лікарській практиці такі дії є тільки одним з етапів побудови діагнозу, поза межами досяжності залишається патогенетичний підхід. Крім того, завданнями альтернативного типу можна перевіряти знання лише репродуктивного рівня.
У другому розділі – "Експериментальна розробка методики підвищення ефективності автоматизованої атестації" – обґрунтовано умови дослідження ефективності комп'ютерної перевірки знань, експериментально розроблено методику визначення та підвищення валідності процедури атестації і тестових завдань, запропоновано особистісно-орієнтовані підходи для проведення автоматизованого контролю.
Організація проведення педагогічного експерименту забезпечила: достовірне визначення необхідного складу контрольних та експериментальних навчальних груп; умови забезпечення репрезентативності вибірки; принципи формування і визначення кількісного та якісного складу експертних груп; визначення методики розрахунків критеріїв оцінки ефективності.
У даній роботі висновки експертів розглядаються як один з основних критеріїв валідності. На основі аналізу педагогічної літератури та проведеного дослідження зроблено висновок про специфічність процедури експертної оцінки якості знань курсантів у післядипломній фазі навчання. Цю специфіку можна описати так. По-перше, екзаменатор перевіряє знання курсантів, які мають багаторічний стаж роботи, недостатньо формалізовані знання і розвинуту інтуїцію в галузі лікування і діагностики патологій, що зустрічаються досить часто. Отже, у деяких вузьких предметних галузях курсант може володіти більшими знаннями і багатшим досвідом, ніж сам експерт. По-друге, число експертів у деяких галузях знань, як правило, обмежене.
Визначено, що перераховані нюанси висувають особливі вимоги до проведення процедури експертизи і створення атестаційних систем. У розділі проводилась перевірка ефективності описаних у літературі рангових методик одержання та обробки експертних висновків для післядипломного медичного навчання, а також розроблялась методика обробки експертних висновків, отриманих у бальних шкалах. В результаті досліджень доведено, що в післядипломній медичній освіті в умовах проведення процедури експертизи суттєвого значення набувають вагові коефіцієнти компетентності експертів, результати попередньої процедури з підвищення узгодженості їхніх дій (коефіцієнтів конкордації), забезпеченість тривалості експертизи до прийняття кожним експертом остаточного висновку. Задля забезпечення узгодженості дій фахівців застосовувались стандартні експертні методи (зокрема, метод “Дельфі”). В групах експертів, які приймали участь в експериментах, коефіцієнт конкордації досягав значення не нижче 0,8.
На прикладі активно експлуатованих у післядипломному медичному навчанні автоматизованих атестаційних систем, заснованих на тестових завданнях альтернативного типу і нелінійної нерозгалуженої процедури подання цих завдань курсантам, розроблено методику визначення і підвищення валідності як самих тестових завдань, так і процедури атестації. Запропоновано підходи обчислення внутрішньої, зовнішньої, конструктної, критеріальної, поточної, дискримінативної, очевидної і змістової валідності. Обґрунтовано низку послідовних процедур, кожна з яких незалежно від інших призводить до валідізації автоматизованої атестації. Достовірність кожної процедури експериментально досліджено на репрезентативних групах курсантів із застосовуванням методів математичної статистики (вибірковий метод, оцінка розходжень між частотами появи ознаки в окремих серіях спостережень, параметричні і непараметричні критерії відмінностей).
У розробленій методиці кількісні характеристики предметної галузі, масиву тестових завдань, знань і умінь курсантів визначались через такі процедури: 1) складання тестових завдань після формалізації укладачами тестів галузі знань за допомогою орієнтованого семантичного графа; 2) проведення експертної оцінки навчального матеріалу з визначенням важливості кожного тематичного пункту кваліфікаційної характеристики (КХ) у формуванні знань лікаря-спеціаліста, ступеню подання теоретичного і практичного матеріалу в кожному тематичному пункті КХ; одиниць нової інформації та складності матеріалу для розуміння і засвоєння; 3) експертна оцінка тестового матеріалу з визначенням тестових завдань, які сприяють виявленню рівнів засвоєння інформації, знань теоретичного та практичного матеріалу; 4) експертна оцінка знань і умінь курсантів. Визначення та підвищення валідності забезпечується за допомогою встановлення достовірного взаємозв'язку: а) кількості тестових завдань, які сприяють виявленню рівнів засвоєння матеріалу зі ступенем їх віддзеркалення у кваліфікаційній характеристиці; б) кількості тестових завдань з кількістю нового матеріалу, який необхідно засвоїти курсанту, і співвідношенням між теоретичним і практичним матеріалом; в) тестових оцінок знань курсантів з експертними оцінками складності запропонованого матеріалу для розуміння і засвоєння; г) тестових і експертних оцінок знань курсантів; д) векторних експертних висновків про рівні знань і умінь курсантів із тестовими оцінками, отриманими при виявленні однакових компонентів; е) ваги та кількості тестових завдань у масиві з експертними характеристиками складності тем, частоти проявів окреслених проблем, критичності помилок лікаря.
В результаті експерименту визначено, що високу валідність змісту характеризують такі закономірності: 1) результати відповіді курсанта в тематично близьких блоках тестових завдань високо корелюють один з одним; 2) лікарі вищих категорій (досвід, стаж) достовірно успішніше вправляються з тестами, призначеними для лікарів нижчих категорій, і навпаки, результати іспитів лікарів-початківців нижчі при відповіді на тести, що складені для спеціалістів вищих категорій; 3) тестові оцінки рівня знань і умінь курсантів (ознайомитися, засвоїти, опанувати, знати, вміти застосовувати на практиці) високо корелюють з експертними оцінками однойменних компонентів; 4) значення коефіцієнта кореляції результатів тестового іспиту й експертних висновків залежить від вагових коефіцієнтів компетенції фахівців; 5) збільшення часу відповіді і закономірність помилок обумовлені погрішностями в змістовій частині тестового завдання.
В роботі визначено, що коригування результатів тестування згідно з ваговими коефіцієнтами блоків тестових завдань, згрупованих за тематичною спрямованістю і ступенями засвоєння знань, збільшує точність відображення тестовими завданнями предметної галузі. Показано, що розробка для кожного завдання додаткових вагових параметрів, які враховують неправильні відповіді, підвищує взаємозв'язок тестових і експертних оцінок.
У процесі дослідження доведено, що можливість автоматизованої системи надавати курсанту для відповіді, як мінімум одне завдання з тематично зв'язаного блоку тестів, за умови обмеженості в часі процедури атестації, підвищує ймовірність повної перевірки всієї тематичної галузі.
У розділі наведено, теоретично і практично обґрунтовано методику розрахунків дискримінативної валідності тестових завдань, яка базується на послідовності застосування математичних алгоритмів (дисперсійний, регресійний, кластерний аналізи) задля визначення точності розподілу тестом опитуваних на групи відповідно до рівня їхніх знань. Запропоновано класифікацію цього типу валідності (обґрунтовано і визначено лінійну, нелінійну, кластерну, повну і неповну її різновидність). Доведено, що застосування тестів із високою дискримінативністю в невизначених ситуаціях, коли необхідно остаточно віднести курсанта певної групи за рівнем знань, наближає результати тестових іспитів до експертних оцінок.
Аналіз сучасної педагогічної літератури свідчить, що застосуванню особистісно-орієнтованих педагогічних технологій у навчанні приділяється значну увагу. В розділі доведено можливість втілення цих принципів в процедуру автоматизованої атестації. За створеною методикою автоматизована атестаційна система адаптується до індивідуальних темпів міркування курсанта над відповідями, враховує відхилення від прогнозованого часу на відповідь і результати попередніх атестацій. В роботі визначено, якщо курсант правильно відповідає на високовалідне завдання, проте думає над відповіддю довше, ніж у середньому над іншими завданнями, і довше, ніж у середньому над даним завданням, то досліджуваний тематичний матеріал досить складний для нього. Доведено, що в подібній ситуації автоматизоване надання додаткового завдання з тематично близьких розділів підвищує якість тестового іспиту. Підтверджено, що здатність тесту стимулювати навчання підвищується, якщо курсанту заздалегідь відомо, що під час заключного іспиту він отримає тестові завдання з тих розділів, на які йому було досить складно відповідати при базисному і рубіжному контролях.
В рамках розробленої особистісно-орієнтованої методики досліджено вплив вікових, індивідуальних фізіологічних і психологічних особливостей курсантів на результати тестового контролю знань. Актуальність вікових особливостей курсантів для післядипломної медичної освіти має значення з причин представлення широкого вікового діапазону в групах тих, хто навчається: від 24 років (лікарі-інтерни) до 65 років (фахівці з тривалим стажем роботи). В результаті експерименту виявлено достовірну залежність між часом, витраченим на розв'язання тестового завдання і віком курсанта, відсутність такої залежності між віком і результатами тестового екзамену, а також між віком і виживаністю знань.
В результаті проведеного аналізу доведено, що відсутність залежності успішності атестації від віку пояснюється тим, що з віком (досвідом) поліпшується здатність опитуваного відтворювати знання, що стосуються його спеціалізації та потребують логічних міркувань. Молоді лікарі, в свою чергу, мають більшу здатність до запам'ятовування нової інформації.
В роботі доведено негативний вплив психологічного стану опитуваних на результати державного іспиту, тому всі дослідження з визначення і підвищення валідності тестової процедури і завдань проводились під час базисних і рубіжних іспитів.
У третьому розділі – "Експериментальна перевірка методики підвищення ефективності автоматизованої атестації" – проаналізовано результати експериментальної роботи і подано їх інтерпретацію, досліджено засади забезпечення ефективності процедури атестації в післядипломній медичній освіті, розроблено методику впровадження автоматизованого контролю знань у навчальний процес.
В розділі викладено результати експериментальної перевірки розроблених методик з визначення ефективності використання ААС і підвищення валідності її роботи. При статистичній обробці отриманих в ході експерименту даних використано непараметричні критерії розходжень (критерій Колмогорова-Смірнова). В констатуючому експерименті визначено відсутність достовірних розбіжностей між контрольною та експериментальною групами за підсумками тестової перевірки знань (ААС0) і за висновками експертів.
Можливість використання розробленої методики валідізації апробовано в формуючому експерименті. Встановлено достовірну розбіжність між результатами оцінювання знань у контрольній (експертна перевірка і тестування ААС0) та експериментальній (експертна перевірка і тестування ААС1) групах. Для визначення критеріїв валідності застосовувались статистичні методи розрахунку принципів залежності тестових оцінок від експертних. Визначалися наступні кількісні ознаки: 1) щільність розподілу тестових оцінок в експертних інтервалах (непараметричні критерії), 2) ступінь відособленості кластерів (методи кластерного аналізу).
В результаті розрахунків виявилося, що розкид результатів тестування в експертних інтервалах (=3,0) в 2,5 рази менший для оцінок, що отримані за допомогою ААС1 порівняно з ААС0 (=7,9). Вірогідність отриманих даних підтверджено за допомогою непараметричних критеріїв розбігу для двох незалежних сукупностей (критерій Уайта). Візуалізація результатів (на прикладі предметної галузі – неонатологія) подано на рис. 1а та 1б.
З рис. 1 видно, якщо в контрольній групі (тестування ААС0) не вдається з достовірністю 0,95 досягти розподілу курсантів за рівнем їх знань згідно експертним оцінкам (можна відзначити лише тенденцію щодо їх розподілу), то в експериментальній групі (тестування ААС1) такий розподіл можливий (р<0,05). Деякі розбіжності виникають тільки у крайових інтервалах шкали (50-60 і 90-100).
За допомогою методу "одиночного зв'язку" (метод найближчого сусіда) визначено ступінь відособленості кластерів, що складають тестові оцінки в експертних інтервалах. Доведено, що ААС1 ефективніше розділяє курсантів на кластери відповідно до їх знань (евклідова відстань об'єднання для експериментальної групи склала 334 од., для контрольної 475 од.). Після нормалізації комплексний коефіцієнт валідності дорівнював 0,62 для ААС0 і 0,81 для ААС1.
Надійність роботи ААС з перевірки знань визначена ре-тестовим методом. Коефіцієнт надійності склав 0,70±0,09 для ААС0 і 0,88±0,06 для ААС1. Розрахунки розрізнювальної здатності (дискримінативності) входили в процедуру валідізації. Об'єктивність проведення вимірювання, обробки даних та інтерпретації результатів забезпечено умовами проведення експерименту.
В ході розрахунків комплексний критерій якості склав Q0 = 1,09, Q1=1,28. Загальні витрати становили S0=5,17, S1=5,36. Коефіцієнт ефективності дорівнював Е0=21,1, Е1=23,9. Загальна величина ефективності використання комп'ютерних систем контролю знань, що працюють за розробленими алгоритмами, достовірно зросла на 13% порівняно з ААС0. Результати педагогічного експерименту свідчать, що витрати при застосуванні розроблених методик зросли на 4% порівняно з традиційними методиками, але якість виявлення знань зросла на 17%.
У загальних висновках викладено основні результати теоретичної та методичної розробки процедури підвищення ефективності комп'ютерних систем контролю знань у післядипломній медичній освіті.
1. Аналіз сучасної науково-педагогічної літературі показав, що питання впровадження контролю знань фахівців у систему післядипломної медичної освіти висвітлено недостатньо. Визначено, що основні перепони для активного впровадження автоматизованої атестації в навчальний процес полягають в наступному: зазвичай для проведення тестових іспитів використовуються тестові завдання альтернативного типу; процедури визначення валідності і надійності тестів калькувалися з психології практично без адаптації; ігнорується специфіка об'єктів навчання і своєрідність різних етапів медичного навчання; відсутня єдина систематизована класифікація тестів; не має чітко окреслених методик апробації підготовлених тестів, методик застосування тестових завдань і процедур атестації в медичному навчанні; не визначено чіткі критерії оцінки результатів тестування; не завжди враховуються психологічні та фізіологічні особливості тих, хто атестуються, тощо. Сучасні вимоги до якості знань лікарів і провізорів зумовлюють пошук нових підходів до розуміння й організації процесу контролю знань, які б повніше враховували індивідуальні потреби слухача, його реальні можливості та здібності, специфіку організації знань у предметній галузі, а також можливості автоматизованої атестації.
2. На основі вивчення наукової та педагогічної літератури сформульовано поняття ефективності використання комп'ютерних систем контролю знань у післядипломній медичній освіті. Визначено, що згідно з результативно-витратною концепцією ефективність використання комп'ютерних систем контролю знань у післядипломній медичній освіті може розглядатись як співвідношення між якістю роботи ААС із визначення знань лікарів і провізорів та витратами на цей процес.
Розроблено методику оцінки ефективності автоматизованої перевірки знань. Визначено і теоретично обґрунтовано, що в структурі медичної освіти особливої ваги набуває проблема перевірки якості засвоєння курсантами навчального матеріалу, оскільки медицина є специфічною галуззю освіти з підвищеними вимогами до рівня професіоналізму лікарів. За критерії якості роботи ААС із контролю знань прийнято: об'єктивність, надійність, валідність і розрізнювальна здатність.
3. Науковий аналіз проблеми дослідження та сучасних розробок щодо конструювання тестових завдань показав, що до основних критеріїв оцінки ефективності розроблених тестових систем, в першу чергу, відносять валідність. Розроблено методику визначення і підвищення валідності тестових завдань і процедури автоматизованої атестації з урахуванням специфіки післядипломного медичного навчання. Методика ґрунтується на низці заходів, пов'язаних із кількісним визначенням якісних компонентів предметної галузі та масиву тестових завдань, якості знань курсантів із подальшим встановленням взаємозв'язку між цими компонентами.
Визначено і теоретично обґрунтовано критерії валідності – кількісні ознаки, що відбивають щільність розподілу результатів тестових іспитів у відповідних експертних інтервалах оцінок, а також здатність тесту щодо диференціювання курсантів за експертними висновками (ступінь відособленості кластерів). Доведено, що підвищення валідності як самих тестових завдань, так і процедури атестації, наближає якість автоматизованої перевірки рівня знань курсантів до експертного рівня. Результати педагогічного експерименту засвідчили, що ААС при врахуванні розробленої методики точніше розподіляє атестованих за їх рівнем знань відповідно до експертних оцінок, ніж "традиційна" ААС. В подальшому, при самостійному масовому використанні ААС завдяки одержаним результатам реально з заданою достовірністю прогнозувати експертні еквіваленти знанням курсантів.
Наведено, теоретично і практично обґрунтовано методику розрахунків дискримінативної валідності тестових завдань, яка застосовується для визначення точності розподілу тестом опитуваних на групи відповідно до рівня їхніх знань. Запропоновано класифікацію цього типу валідності (обґрунтовано і визначено лінійну, нелінійну, кластерну, повну і неповну її різновидність). Доведено, що застосування тестів із високою дискримінативністю в невизначених ситуаціях, коли необхідно остаточно віднести курсанта певної групи за рівнем знань, наближає результати тестових іспитів до експертних оцінок.
Доведено, що серед типів валідності для розробки ефективних систем контролю знань у післядипломній медичній освіті найбільше значення має визначення і підвищення валідності змісту.
4. Аналіз стану галузі підвищення кваліфікації лікарів і провізорів виявив, що процес контролю знань у спеціальних навчальних закладах даної освітньої ланки предметно розглядався не повністю, а висвітлювалися переважно окремі питання, пов'язані з його змістом, методами контролю, засобами перевірки певних професійно-необхідних вмінь, навичок та якостей лікарів. Показано, що серед основних засад побудови системи контролю знань у післядипломній медичній освіті вагомого значення набуває питання систематизації тестових завдань і процедури атестації. В межах запропонованої класифікації доведено обмеженість найпоширенішої в контролі знань нерозгалуженої процедури атестації, що ґрунтується на альтернативних тестових завданнях. Подібні процедури змушують курсантів акцентувати увагу на знаннях, відвернених від реальності і чинити дії, іменовані в класичній медицині як діагностика за аналогією. У реальній лікарській практиці такі дії є тільки одним з етапів побудови діагнозу, поза межами досяжності залишається патогенетичний підхід.
5. Науковий аналіз сучасних концепцій професійної підготовки лікарів дозволив виявити прогалини в теоретичних розробках дидактико-організаційних та управлінських питань щодо застосування інноваційних особистісно-орієнтованих принципів до контролю знань фахівців, що негативно позначається на ефективності навчального процесу.
Запропоновано методику організації автоматизованої атестації за алгоритмами індивідуального, особистісно-орієнтованого підходу, що ґрунтується на можливості атестаційної системи адаптуватись в автоматизованому режимі до індивідуальних здібностей курсантів швидко сприймати інформацію та проводити екзамен з урахуванням результатів попередніх атестацій.
6. Запропонована методологія визначення та підвищення валідності процедури автоматизованого контролю знань дозволяє підвищити ефективність комп'ютерної атестації на 11-13%, а якість роботи ААС із перевірки знань - на 16-17%.
Результати дослідження дають підстави вважати, що запропонована методика визначення і підвищення ефективності автоматизованого контролю знань у післядипломній медичній освіті є адекватною, поставлені завдання реалізовано, мети досягнуто, гіпотезу підтверджено, сукупність одержаних наукових висновків і практичних рекомендацій мають важливе значення для теорії та практики контролю знань лікарів і провізорів в умовах післядипломної медичної освіти. Реалізація основних положень дослідження спонукає до подальшого розвитку теоретико-методологічних основ підвищення ефективності атестації в закладах післядипломної медичної освіти.
Одержані в ході експерименту рекомендації щодо впровадження ефективного автоматизованого контролю знань у навчальний процес, визначення і підвищення валідності процедур атестації і тестових завдань, впровадження особистісно-орієнтованих принципів до контролю знань фахівців можна поширити не лише на медичну, а й на інші галузі освіти.
Проведене дослідження не вичерпує всіх можливих аспектів дослідження ефективності комп'ютерних систем контролю знань у післядипломній медичній освіті. Актуальність проблеми підкреслює необхідність вивчення її в таких напрямках, як визначення валідності тестових завдань, підвищення валідності процедур атестації, застосування розгалужених алгоритмів атестації, вивчення впливу психофізіологічних реакцій курсантів на результати атестації.
Основні положення і результати дисертаційного дослідження відображено в публікаціях:
1. Краснов В.В. Дискримінативна валідність тестів //Педагогіка і психологія професійної освіти. – Львів, 2002.- №2.- С. 163-175.
2. Краснов В.В. Підвищення валідності процедури атестації медичних працівників //Теоретичні питання культури освіти та виховання.- Київ, 2002.- Випуск №20.- С.35-38.
3. Краснов В.В. Валідність змісту педагогічних тестів у післядипломній медичній освіті //Проблеми освіти.- Київ, 2002.- Випуск №28.- С. 27-35.
4. Краснов В.В. Дослідження валідності змісту тестів при контролі знань лікарів і провізорів //Збірник наукових праць співробітників КМАПО ім. П.Л.Шупіка.- Київ, 2000.- С. 804-808.
5. Краснов В.В. Разветвленные автоматизированные аттестационные системы для последипломного медицинского образования: подход и реализация //Збірник наукових праць співробітників КМАПО ім. П.Л. Шупика.- Київ, 2001. - С. 1256-1267.
6. Краснов В.В. Определение согласованности действий экспертов при оценке знаний обучаемых //Электроника и связь. – Киев, 2001.- №11.- С. 10-14.
7. Краснов В.В. Принципы экспертных оценок знаний в последипломном медицинском образовании //Кибернетика и вычислительная техника.- Киев, 2001.- Выпуск №131.- С. 69-89.
8. Краснов В.В. Принципы исследования валидности тестов при контроле знаний врачей и провизоров // Матеріали конференції "Організація системи якості медичної допомоги, медичних послуг населенню із застосуванням інформаційних технологій." – Київ, 1999.– С.180-184.
9. Мінцер О.П., Краснов В.В. Проблеми систематизації автоматизованих атестаційних систем у медицині // Збірник науково–методичних праць "Семінар у медицині та фармації." - Київ, 2000.- С. 171-184.
10. Минцер О.П., Краснов В.В. Вопросы систематизации автоматизированных аттестационных систем в медицине (методические рекомендации). – Тернополь, “Укрмедкнига”, 2000. – 56 с.
11. Мінцер О.П., Краснов В.В., Силкова О.В. Нова ідеологія і принципи проведення практичних занять в умовах інформатизації медичної освіти.// Збірник науково-методичних праць співробітників КМАПО ім. П.Л. Шупика "Практичне заняття у підготовці лікарів і провізорів." - Київ, 2001.- С. 8-12.
12. Краснов В.В. Разветвленные алгоритмы контроля знаний – подход и реализация //Міжнародна науково-практична конференція "Інформаційні технології в охороні здоров'я та практичній медицині." - Київ, 2001.- С. 97-100.
13. Краснов В.В. Принципы интеграции всемирного распределенного интеллекта //ІІ Міжнародна науково-практична конференція "Інформаційні технології в охороні здоров'я та практичній медицині".- Київ, 2002.- С. 127-128.
14. Краснов В.В. Дослідження валідності змісту тестів при контролі знань лікарів і провізорів //Тези доповідей Всеукраїнської науково-методичної конференції "Сучасний стан вищої освіти в Україні: проблеми та перспективи." - Київ, 2000.- С. 480-483.
Краснов В.В. Ефективність використання комп'ютерних систем контролю знань в післядипломній медичній освіті. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата педагогічних наук за спеціальністю 13.00.04 - теорія і методика професійної освіти.- Інститут вищої освіти АПН України, Київ, 2003.
Дисертаційна робота присвячена актуальній темі – розробці методики визначення і підвищення ефективності автоматизованих атестаційних систем у післядипломній медичній освіті. Згідно з результативно-витратною концепцією ефективність розглянута як співвідношення між якістю роботи ААС із визначення знань лікарів і провізорів та витратами на цей процес. Критеріями якості роботи ААС із контролю знань прийняті об'єктивність, надійність, валідність, розрізнювальна здатність, серед яких валідність (і особливо валідність змісту) є одним з основних параметрів. На основі проведених у дисертації досліджень розроблено методику визначення і підвищення валідності тестових завдань і процедур автоматизованої атестації. Теоретично і практично обґрунтовано методику розрахунків дискримінативної валідності тестових завдань, запропоновано її класифікацію. Проведено класифікацію тестових завдань і процедур тестування, котрі можна використовувати в післядипломному медичному навчанні. Створено методики опрацювання бальних експертних оцінок знань із урахуванням узгодженості думок фахівців і їх компетентності. Запропоновано методику організації автоматизованої атестації за алгоритмами індивідуального, особистісно-орієнтованого підходу. Розроблена методологія визначення та підвищення валідності процедури автоматизованого контролю знань дозволяє підвищити ефективність комп'ютерної атестації на 11-13%, а якість роботи ААС із перевірки знань - на 16-17%.
Ключові слова: автоматизовані атестаційні системи, валідність та ефективність процедури атестації, експертні висновки, особистісно-орієнтовані підходи до атестації.
Краснов В.В. Эффективность использования компьютерных систем контроля знаний в последипломном медицинском образовании. - Рукопись.
Диссертация на соискание научной степени кандидата педагогических наук по специальности 13.00.04 - теория и методика профессионального образования.- Институт высшего образования АПН Украины, Киев, 2003.
Диссертационная работа посвящена проверке эффективности автоматизированных аттестационных систем в последипломном медицинском образовании. На основе проведенных в диссертации исследований сформулированы понятия эффективности использования компьютерных систем контроля знаний в последипломном медицинском образовании. Определено, что в соответствии с результативно-затратной концепцией эффективность может рассматриваться как соотношение между качеством работы ААС по определению знаний врачей и провизоров и затратами, вложенными в этот процесс. Разработана методика оценки эффективности автоматизированной проверки знаний. Определено и теоретически обоснованно, что в структуре медицинского образования особое значение приобретает проблема проверки качества усвоения курсантами учебного материала, так как медицина является специфической областью образования с повышенными требованиями к уровню профессионализма врачей. Критериями качества работы ААС по контролю знаний приняты: объективность, надежность, валидность и дифференцирующая способность.
Показано, что к основным критериям оценки эффективности работы тестовых систем по проверке знаний, в первую очередь, относят валидность. Разработана методика определения и повышения валидности тестовых задач и процедуры автоматизированной аттестации с учетом специфики последипломного медицинского образования. Методика основана на ряде подходов, связанных с количественным определением качественных компонентов предметной области и массива тестовых задач, качества знаний курсантов с дальнейшим установлением взаимосвязи между этими компонентами.
Определены и теоретически обоснованы критерии валидности – количественные признаки, которые отражают плотность распределения результатов тестовых испытаний в соответствующих экспертных интервалах оценок, а также способность теста дифференцировать курсантов в соответствии с экспертными заключениями. Доказано, что повышение валидности как самих тестовых задач, так и процедуры аттестации, приближает качество автоматизированной проверки уровня знаний курсантов к экспертному уровню. Особое внимание уделено подходам к определению и повышению содержательной валидности.
Разработана, теоретически и практически обоснована методика расчетов дискриминативной валидности тестов, которая основывается на последовательном применении математических алгоритмов (дисперсионный, регрессионный и кластерный анализы) для определения точности распределения тестом опрашиваемых на группы в соответствии с уровнем их знаний. Предложена классификация этого типа валидности (обоснованы и определены линейная, нелинейная, кластерная, полная и неполная ее разновидности). Доказано, что применение тестов с высокой дискриминативностью в неопределенных ситуациях, когда необходимо окончательно отнести курсанта к определенной группе уровня знаний, приближает результаты тестовых испытаний к экспертным оценкам.
Предложена классификация тестовых задач и процедуры аттестации. Разработана методика организации автоматизированной аттестации с учетом алгоритмов индивидуального, личностно-ориентированного подхода, который основывается на возможности аттестационной системы адаптироваться в автоматизированном режиме к индивидуальным способностям курсантов по скорости восприятия информации, а также проводить экзамен с учетом результатов предшествующих аттестаций.
Предложенная методология определения и повышения валидности процедуры автоматизированного контроля знаний позволяет повысить эффективность компьютерной аттестации на 11-13%, а качество работы ААС по проверке знаний - на 16-17%.
Ключевые слова: автоматизированные аттестационные системы, валидность и эффективность процедуры аттестации, экспертные заключения, личностно-ориентированные подходы к аттестации.
Krasnov V.V. The efficiency of postgraduate medical training computer-knowledge-monitoring systems application. - the Manuscript.
The Dissertation to claim the candidate of pedagogical sciences scientific degree on the speciality 13.00.04 - professional education theory and technique.- Institute of higher education of the Academy of pedagogical sciences of Ukraine, Kiev, 2003.
Dissertation is devoted to a vital topic - mining of a definition technique and increasing of an efficiency of the automated certifying systems (ACS) in postgraduate medical training. The efficiency of АCS is reviewed as a ratio between quality of АCS operation on checking up of knowledge of doctors and pharmaceutists and means which are loiter on this process pursuant to the resulting-spending concept. As the ACS performance criterions during knowledge control the objectivity, reliability, validity and differentiative ability are adopted. Among listed criterions the validity of the contents is one of the main specifications. On the basis of the researches carried out in the dissertation the technique of definition and increase validity test questions and procedures of the automated certification is developed. The technique of discriminative validity calculations of the test problems is theoretically and practically justified and its classification is offered. Classification of test questions and procedures of testing which can be used in postgraduate medical training is carried out. Techniques of processing of mark expert's estimations of knowledge in groups of interviewee are created, in view of a coordination of reasoning of experts and their competence. The procedure of organization of the automated certification on algorithms personal-oriented approach is offered. Proposed methodology of definition and increasing of a validity of a procedure of an automatic test of knowledge allows to increase efficiency of computer certification on 11-13 %, and quality of АCS operation on checking up knowledge - on 25-30 %.
Key words: automated certifying systems, validity tests, procedures validity of certification, expert conclusions, personal-oriented approach to certification.