Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
17
КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ
імені ТАРАСА ШЕВЧЕНКА
Артемчук Людмила Миколаївна
УДК 378.2
КОМП`ЮТЕРНЕ ОЦІНЮВАННЯ
ПРОФЕСІЙНИХ ЗНАНЬ В СТРУКТУРІ ПІДГОТОВКИ
МЕДИЧНИХ СЕСТЕР
13.00.04 - теорія і методика професійної освіти
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня
кандидата педагогічних наук
Київ –
Дисертацією є рукопис.
Робота виконана у Національному медичному університеті ім. О.О.Богомольця.
Науковий керівник: доктор педагогічних наук, професор
Булах Ірина Євгенівна,
Національний медичний університет ім. О.О.Богомольця,
завідувач кафедри медичної інформатики та комп’ютерних технологій навчання.
Офіційні опоненти: доктор педагогічних наук, професор
Романишина Людмила Михайлівна,
Тернопільський державний педагогічний університет імені Володимира Гнатюка, професор кафедри педагогічної майстерності і освітніх технологій;
кандидат педагогічних наук, доцент
Гранюк Людмила Олексіївна,
Верховна Рада України,
Головний консультант Секретаріату депутатської фракції.
Провідна установа: Національний педагогічний університет імені М.П.Драгоманова, кафедра основ інформатики та обчислювальної техніки, Міністерство освіти і науки України, м. Київ.
Захист відбудеться “19”грудня 2003 року о 16 годині на засіданні спеціалізованої вченої ради Д 26.001.16 у Київському національному університеті імені Тараса Шевченка за адресою: 01033, м. Київ, вул. Володимирська, 60, аудиторія 317.
З дисертацією можна ознайомитись у бібліотеці Київського національного університету імені Тараса Шевченка за адресою: 01033, м. Київ, вул. Володимирська 58, ауд. 9.
Автореферат розіслано “_15__”_____листопада_______ 2003 р.
Вчений секретар
спеціалізованої вченої ради О.О.Безносюк
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність і ступінь дослідженості теми. Система освіти сьогодні стає найважливішим інструментом у процесі досягнення нового якісного стану суспільства і його головних механізмів: економічних, політичних, соціальних, культурних, демографічних. Задовольняючи освітні потреби особи та потреби суспільства у кваліфікованих фахівцях, держава повинна контролювати результати освітньої діяльності всіх її учасників на всіх етапах, мати можливість відстежувати стан системи навчання у цілому та окремих її елементів.
В Україні, починаючи з 1998 р. йде робота з розробки та впровадження галузевих стандартів вищої освіти (ГСВО). Система державних стандартів вищої освіти України, з одного боку, чітко регламентує вимоги до якості підготовки фахівця, а з іншого, визначає як нормативний обсяг змісту, так і його варіативну частину –вибір навчального закладу і студента.
Галузеві стандарти вищої освіти містять три компоненти: освітньо-кваліфікаційну характеристику (ОКХ) –перелік вимог до фахівця у вигляді вмінь, що мають демонструвати випускники навчального закладу, освітньо-професійну програму (ОПП) –зміст навчання, що забезпечує набуття професійних знань та вмінь, та засоби діагностики якості вищої освіти –регламентація вимог до стандартизованого контролю рівня професійної компетентності фахівця. Відповідно до вимог ГСВО стандартизованим засобом діагностики є стандартизований тест. Останнім часом тестовий метод контролю інтенсивно розвивається і поширюється в системі вищої освіти України. Серед дисертаційних досліджень з питань теорії та практики тестування слід відзначити дисертації І.Булах, В.Безверхої, О.Мокрова, О.Молокович, О.Кміть, В.Пащенко, О.Петренко, Ю. Романенко, Н.Саєнко, І.Солухи; критеріально-орієнтованого тестування –О.Івлієвої, А.Разумної; оцінювання професійної компетенції –Ю.Головач, С.Кубіцького, Л.Макаланової; комп’ютерного тестування як методу контролю –Т Солодкої, П.Уханя; з питань модульно-рейтингової системи навчання та контролю - І.Богданова, О.Безносюка, Л.Гранюк, Л.Романишиної, Н.Шиян, Г.Юзбашевої.
Теоретичні основи стандартизованих методів педагогічної діагностики розвиваються починаючи з середини 50-х р. минулого сторіччя. Основні теоретичні засади педагогічних теорій навчання та діагностики рівня засвоєння знань розроблялися В. Аванесовим, А.Алексюком, А.Анастазі, С.Архангельським, Ю.Бабанським, В. Безпалько, І.Булах, Дж.Гласом, К.Інгенкампом, І.Лернером, Г.Рашем, Є.Машбицем, H. Субеттом, Н.Тализіною, М.Челишковою.
Підготовка фахівців для галузі охорони здоров’я завжди привертала увагу педагогів і в Україні, і за її межами, враховуючи критичність щодо професійної помилки лікарів, медичних сестер, провізорів. Саме у системі підготовки медичних кадрів зароджувалися, апробувалися, а згодом поширювалися на інші сфери професійної освіти інноваційні методи навчання та контролю знань. Аналіз літературних джерел показав, що сьогодні в Україні відсутні комплексні педагогічні дослідження з проблем медсестринської освіти, зокрема з проблем оцінювання професійних знань медичних сестер. Серед дисертаційних робіт, присвячених медичній освіті, можна відзначити роботи з питань комп’ютерного оцінювання та використання комп’ютерних систем у медичних навчальних закладах (І.Булах, В.Краснова, О.Сілкової); організації навчального процесу (Л.Дольнікової, Х.Мазепи, В.Пінькас); з питань розвитку медичної освіти (М. Шегедин, Л.Колос).
На основі міжнародних стандартів з 1998 р. в Україні запроваджується нова модель вищої ступеневої неперервної медсестринської освіти, так звана “медсестринська модель”, здійснюється робота з розробки складових галузевих стандартів вищої освіти спеціальності “сестринська справа” за освітньо-кваліфікаційними рівнями молодшого спеціаліста та бакалавра. До змісту ОКХ випускника крім знань, умінь і навичок з догляду та спостереження за хворими, надання невідкладної долікарської допомоги, що входили до кваліфікаційної характеристики старого покоління, було вперше включено здатності та вміння з пропаганди медико-гігієнічних знань, профілактики захворювань, формування здорового способу життя у населення, навчання та виховання свідомого ставлення до здоров'я. Найважливішою особливістю нових стандартів стала їхнє орієнтування на сьогоденні та майбутні потреби населення у медсестринській допомозі. Вперше до змісту професійної медсестринської освіти було введено поняття "збереження здоров'я", "первинна медико-санітарна допомога", концепція стратегії ВООЗ "Досягнення здоров'я для всіх", формування професійних знань з оцінки стану та збереження здоров'я та навчання населення здорового способу життя. Перелік навчальних дисциплін відповідає міжнародним стандартам, насамперед, у найменуванні дисциплін, у логічній наступності та послідовності вивчення фундаментальних, медичних та медсестринських дисциплін. Система стандартів будується за принципами цілеспрямованості, прогностичності, технологічності; вперше використовується принцип діагностичності, що забезпечує можливість вимірювання рівня досягнення та ефективності цілей освітньої та професійної підготовки, сформульованих в ОКХ та реалізованих на основі ОПП.
Отже, актуальність дисертаційного дослідження обумовлена: запровадженням державних стандартів вищої освіти та системи галузевого моніторингу в системі вищої медсестринської освіти; запровадженням у систему вищої медсестринської освіти стандартизованих засобів педагогічної діагностики з встановлення відповідності рівня професійних знань студентів вищих медичних закладів освіти мінімально необхідному рівню згідно з вимогами державних стандартів, необхідністю розробки методики комп’ютерного оцінювання професійних знань як сучасного методу педагогічної діагностики.
Вищезазначене зумовило вибір теми дисертаційного дослідження “Комп’ютерне ооцінювання професійних знань в структурі підготовки медичних сестер”.
Зв’язок роботи з науковими програмами, планами, темами. Дисертаційне дослідження виконано у межах планових науково-дослідних робіт та державних програм:
“Методологічне забезпечення розробки складових Державних стандартів вищої освіти в галузі “Медицина” кафедри медичної інформатики та комп’ютерних технологій навчання Національного медичного університету ім. О.О.Богомольця (НМУ) (номер державної реєстрації 0102U000882); “Моделювання дистанційних форм навчання з використанням інформаційних технологій” кафедри медичної інформатики та комп’ютерних технологій навчання НМУ (номер державної реєстрації 0100U002642).
Концепція розвитку охорони здоров’я населення України від 07 грудня 2000 року № 1313/2000; Положення про систему ліцензійних інтегрованих іспитів фахівців з вищою освітою напрямів “Медицина” і “Фармація”, наказ Міністерства охорони здоров’я України №251 від 14.08.1998 р. (зареєстровано у Міністерстві юстиції України 11.09.1998 р. за № 563/3003).
Тема дисертаційного дослідження затверджена на засіданні Вченої ради фармацевтичного факультету Національного медичного університету ім. О.О. Богомольця (протокол №8 від 23.01.2000 р) та Радою з координації наукових досліджень в галузі педагогіки та психології в Україні АПН України (протокол №1 від 28.01.2003 р.).
Об’єкт дослідження: стандартизовані методи діагностики рівня освітньо-професійної підготовки фахівців з вищою освітою.
Предмет дослідження: комп’ютерне оцінювання як метод стандартизованого контролю професійних знань медичних сестер освітньо-кваліфікаційного рівня “молодший спеціаліст”.
Мета дослідження: дослідити особливості діагностики якості підготовки медичних сестер згідно з вимогами державних стандартів, розробити модель моніторингу професійних знань медичних сестер та комп’ютерну методику їхнього оцінювання, провести пілотні апробування та розробити форми подання результатів, що відповідають рівням освітнього моніторингу.
Гіпотеза дослідження: засоби діагностики якості освіти як компонента галузевого стандарту вищої освіти, розроблені із дотриманням дидактичних принципів державних стандартів, надають можливість запровадження моніторингу якості професійної підготовки фахівців на основі стандартизованого контролю рівня їхніх професійних знань та є інструментом управління навчальним процесом підготовки фахівців.
У відповідності з об’єктом, предметом та метою дослідження було поставлено такі завдання:
1. Визначити та проаналізувати особливості методів контролю професійних знань медичних сестер, сформулювати вимоги до стандартизованих засобів діагностики якості підготовки, що відповідають дидактичним принципам державних стандартів вищої освіти.
. Обґрунтувати форму моніторингу професійних знань медичних сестер та здійснити її апробацію для оцінювання якості підготовки медичних сестер на галузевому рівні.
. Розробити та апробувати методику комп’ютерного оцінювання професійних знань студентів вищих навчальних закладів України для спеціальності “сестринська справа”.
. Обґрунтувати функції комплексу комп’ютерних програм стандартизованого тестування як засобу діагностики якості підготовки медичних сестер відповідно до вимог галузевих стандартів вищої освіти та визначити форми подання даних оцінювання для використання у системі моніторингу та управління якістю підготовки спеціалістів.
Методи дослідження. Методологічною основою дослідження є загальнонаукові методи пізнання, методи системно-структурного аналізу об’єктів, та методи і теорії наукових досліджень (психолого-педагогічні теорії навчання, теорії педагогічної та психологічної діагностики, закони педагогічних вимірювань), що дозволили визначити його стратегію. Тактика дослідження базувалася на принципах і положеннях, покладених в основу створення державних стандартів вищої освіти і вимог до стандартизованих методів педагогічної діагностики. Для побудови статистично обґрунтованих висновків використовувалися методи математичної статистики: вибірковий метод для визначення вимог, що забезпечують статистичну достовірність висновків; метод перевірки статистичних гіпотез для встановлення статистичної достовірності впливу умов проведення педагогічного експерименту; метод перевірки гіпотез законів розподілу (оцінка коефіцієнтів асиметрії та ексцесу, критерій хі-квадрат). Математичний аналіз здійснювався у пакеті статистичних програм Statistica 6.0.
Для обґрунтування форми моніторингу якості підготовки фахівців на основі використання засобів діагностики, вимоги до яких визначені у структурі галузевих державних стандартів, було здійснено експеримент щодо апробації стандартизованого методу контролю професійних знань медичних сестер. Педагогічний експеримент був пов’язаний із застосуванням таких методів дослідження як спостереження, опитування, бесіда, а також методів моделювання, порівняльного аналізу, статистичного аналізу. Експеримент проводився протягом 1998-2002 р. на технологічній базі кафедри медичної інформатики та комп’ютерних технологій навчання Національного медичного університету ім..О.О. Богомольця та Центру тестування професійної компетентності фахівців з вищою освітою при Міністерстві охорони здоров’я України, який здійснює організаційно-методичне керівництво процесом запровадження засобів стандартизованої діагностики на галузевому рівні. У експерименті були задіяні 114 вищих навчальних закладів I-IV рівнів акредитації, що здійснюють підготовку фахівців напряму “Медицина” освітньо-кваліфікаційного рівня “молодший спеціаліст” спеціальності “медична сестра”, відповідно до програм реформування медсестринської освіти України. У експерименті взяли участь державні та приватні навчальні заклади: училища, коледжі, інститути, академії, університети. Загальна кількість студентів, які брали участь в експерименті, - 21347 осіб. Загальна кількість викладачів, які брали участь у розробці тестових матеріалів, експертизі тестових завдань, проведенні тестових екзаменів становить 1839 осіб.
Наукова новизна одержаних результатів: вперше досліджено особливості стандартизованого контролю якості підготовки медичних сестер у структурі державних стандартів вищої освіти; вперше побудовано модель моніторингу професійних знань фахівців освітньо-кваліфікаційного рівня “молодший спеціаліст” (на прикладі спеціальності “сестринська справа"): визначено ієрархічні рівні моніторингу, узагальнено та сформульовано функції моніторингу, сформульовано послідовність дій у забезпеченні цих функцій; вперше набули подальшого розвитку обґрунтовування функцій комплексу комп’ютерних програм стандартизованого тестування як засобу діагностики якості підготовки медичних сестер згідно з вимогами галузевих стандартів вищої освіти.
Практичне значення одержаних результатів дослідження визначається: розробкою та впровадженням методики комп’ютерного оцінювання професійних знань студентів вищих навчальних закладів України для спеціальності “сестринська справа” освітньо-кваліфікаційного рівня “молодший спеціаліст”; впровадженням стандартизованої форми моніторингу якості професійної підготовки медичних сестер на галузевому рівні; розробкою та впровадженням методичних рекомендацій з проектування стандартизованого тестового екзамену з сестринської справи як складової частини медичних ліцензійних іспитів “Крок М Сестринська справа”, які є частиною державної атестації випускників вищих медичних навчальних закладів I-IV рівнів акредитації.
Отримані результати дослідження впроваджено у діяльність Центру тестування професійної компетентності фахівців з вищою освітою напрямів підготовки „Медицина” та „Фармація” (акт від 03.03.03 за №303), Київського базового медичного коледжу ім. П.І.Гаврося (акт від 03.03.03 за №72-К), Полтавського базового медичного училища (акт від 16.04.03 за №26-04.03).
Вірогідність одержаних результатів та їх обґрунтованість забезпечується методологічними основами дослідження, використанням методів, що відповідають меті та завданням дослідження, якісним та кількісним аналізом експериментальних результатів, застосуванням відповідних методів математичної статистики, підтверджується апробацією результатів дослідження на науково-методичних конференціях і семінарах.
Особистий внесок здобувача. Автором самостійно виконано основні завдання дослідження, побудовано модель моніторингу професійних знань для освітньо-кваліфікаційного рівня молодший спеціаліст. За безпосередньої участі автора проведено апробацію засобу діагностики рівня професійних знань випускників для спеціальності “сестринська справа”. Автором розроблено методику комп’ютерного оцінювання професійних знань студентів, зроблено порівняння рівнів підготовки випускників даного напряму на галузевому рівні. Самостійно узагальнено результати, статистичну обробку матеріалів, розробку форм подання даних експерименту. Ідеї та розробки, що належать співавторам, разом з якими було опубліковано наукові праці, у дисертаційному дослідженні не використано. Тестові екзамени “Крок М сестринська справа” у внз та комп’ютерне сканування бланків відповідей студентів проводилися разом із співробітниками Центру тестування на його технологічній базі.
Апробація результатів здійснювалась на навчально-методичній конференції “Сучасні підходи до організації навчального процесу та активізації самостійної роботи студентів та інтернів в умовах реалізації нового навчального плану” (Київ, 1995 р.); міжнародній науково-практичній конференції “Современные проблемы дидактики высшей школы” (Донецьк, 1997 р.); українській науково-методичній конференції “Проблеми підготовки медичних та фармацевтичних кадрів України” (Київ-Одеса, 1997 р.); міжнародній літній школі “Об’єктивне вимірювання професійних знань і покращення якості вищої освіти” (Україна, 2000 р.); навчально-методичних нарадах директорів вищих медичних навчальних закладів І-ІІ рівнів акредитації (Кіровоград 2000 р., Бердянськ 2001 р., Коломия 2002 р.); Міжнародних конференціях Асоціації медичної освіти Європи AMEE: “Horizon Scanning in Medical Education: 2020 vision” (Ізраїль, 2000 р.), “Global Standards in Medical Education” (Берлін, 2001 р.); засіданнях Міжнародного фонду “Відродження” у програмі “Підтримка вироблення стратегії реформування освіти. Система моніторингу та оцінка якості освіти” (Київ, 2001 р.); міжнародній науково-практичній конференції “Медична освіта ХХІ століття” (Вітебськ 2002 р.), науково-методичних конференціях “Актуальні проблеми підготовки фахівців у вищих медичних та фармацевтичному навчальних закладах України” (Чернівці 2002 р., Тернопіль 2003 р.), на X симпозіумі “Квалиметрия в образовании: методология и практика” (Москва 2002 р.).
Публікації. Результати дисертаційного дослідження опубліковано у п’ятьох наукових фахових журналах, у двох навчально-методичних посібниках, у збірнику аналітичного дослідження, у матеріалах трьох всеукраїнських та чотирьох міжнародних наукових конференціях та симпозіумі. Загальна кількість друкованих праць –.
Структура та обсяг дисертації. Дисертація складається із вступу, трьох розділів, висновків, списку використаних джерел з 193 найменувань (з них 28 іноземними мовами) та десяти додатків. Основний зміст дисертації викладено на 182 сторінках, який включає 10 діаграм, 18 рисунків та 8 таблиць.
основний зміст дисертаційної роботи
У вступі обґрунтовано актуальність, визначено об’єкт і предмет дослідження, сформульовано мету, гіпотезу, завдання та методи дослідження, розкрито наукову новизну і практичне значення роботи, наведено відомості про апробацію і практичне значення роботи.
У першому розділі дослідження “Оцінювання професійних знань з використанням інформаційних технологій” аналізуються чинники, що зумовлюють зміни у формах та методах навчання та контролю знань в умовах запровадження інформаційних технологій.
Впровадження інформаційних технологій у систему навчання потребує створення нової технологічної системи, у якій чітко визначено критерії і показники якості навчання, що встановлюються національними освітніми стандартами. На основі аналізу літературних джерел у роботі аналізуються проблеми оцінювання якості професійної підготовки випускника вищого навчального закладу, визначаються поняття “якість”, “якість підготовки фахівців”, “управління якістю...”, “моніторинг якості”.
Підвищення якості професійної підготовки випускника в сучасних умовах демократизації і гуманізації освіти спирається на інформаційні технології оцінки рівня професійної компетенції, які поступово входять до системи вищої освіти (централізоване тестування, єдиний державний стандартизований іспит, ліцензійні інтегровані іспити тощо). Технологізація процедур контролю й оцінки рівня професійних знань студентів, упорядкування інформаційної взаємодії всіх підсистем навчання забезпечує функціонування багаторівневого моніторингу.
Побудована нами форма стандартизованого моніторингу якості професійної підготовки фахівців для освітньо-кваліфікаційного рівня “молодший спеціаліст” базується на даних стандартизованого тестового контролю, що забезпечує вимірювання та порівняння об'єктивних показників якості навчання. Форма моніторингу реалізує такі функції: одержання всебічної, об’єктивної та валідної інформації про стан системи навчання і її підсистем; забезпечення надійного зворотного зв'язку між потоками переданої та засвоєної інформації; визначення результативності навчального процесу; прогнозування і керування розвитком навчальних систем; визначення рейтингу студента, викладача, навчального закладу, регіону на основі порівнянності результатів масового тестування; виявлення прогалин у навчанні конкретного студента, індивідуалізація навчання; створення умов для дослідження навчального процесу; формування інформаційних систем самопідготовки і самоконтролю.
У процесі дослідження проаналізовано проблеми, пов'язані з експертизою якості підготовки студентів на основі моніторингових обстежень за результатами національного стандартизованого тестування: забезпеченням об'єктивності і порівнянності оцінок на різних рівнях (національному, регіональному, локальному), а також з виміром рівня професійних знань кожного окремого студента.
У другому розділі “Стандартизовані тестові методи педагогічного оцінювання” класифікуються методи стандартизованого педагогічного оцінювання професійних знань та визначаються такі, що можуть використовуватися у галузевих стандартах вищої освіти як засоби діагностики якості підготовки фахівців. Вимірювання та оцінювання результату навчання здійснюється за допомогою засобів педагогічної діагностики, створення яких потребує спеціальних знань у галузі стандартизованих методів контролю якості навчання. Засобами діагностики є професійно-орієнтовані тести, впровадженню яких має передувати період їхньої стандартизації.
Стандартизований тест - це комплексна характеристика, що визначається властивостями тесту, процедурою вимірювання та процедурою оцінювання, а також чіткою регламентацією у вигляді інструкцій до характеристик усіх категорій процесу вимірювання. У цьому випадку аналізуються усі стадії або етапи тестування, суб'єкти та об'єкти, засоби та умови і регламентуються їхні характеристики. Крім цього, розробляється процедура оцінювання, що визначає яким чином виміряна величина набуває кількісного значення. Процедура конвертації має назву шкалювання. Проблема шкалювання є центральною теоретичною та методичною проблемою педагогічної діагностики, при вирішенні якої необхідно визначитися з таких питань: вибору власне шкали, початку відліку, масштабу, інтервалу змін та норми. Залежно від рівня вимірювання якісної характеристики існують чотири види шкали: номінальна шкала, порядкова або рангова шкала, шкала інтервалів, шкала відношень. Конвертація результатів стандартизованого тестового контролю для медичних сестер здійснювалася за інтервальною шкалою, побудованою на основі стандартних нормованих Z- та T-шкал.
При застосуванні стандартизованих засобів діагностики одним з важливих методичних питань є вибір відповідних методів встановлення критерію “склав / не склав”. У роботі аналізуються абсолютні та відносні критерії. Визначено найбільш прийнятні критерії для використання при оцінюванні професійних знань медичних сестер, а саме метод Недельського та компромісний метод Хофсті.
У третьому розділі “Методика комп’ютерного оцінювання професійних знань медичних сестер” охарактеризовано особливості професійної підготовки медичних сестер, представлено створений технологічний цикл стандартизованого тестування, викладено методику експерименту, приведено його результати та здійснено їх аналіз.
Засоби діагностики як компонента державних стандартів для медсестринської освіти, реалізовувалися у формі стандартизованого тестування –тестового ліцензійного інтегрованого іспиту (Крок М Сестринська справа), запровадженню якого мав передувати педагогічний експеримент. Експеримент проводився у формі національного тестування на галузевому рівні для визначення стандартизованої форми моніторингу рівня професійної компетентності випускників навчальних закладів, що здійснюють підготовку медичних сестер, та відпрацювання ефективних форм зворотного зв’язку: результати моніторингу - управління якістю підготовки.
Тестові ліцензійні іспити базуються на сучасній технології стандартизованого тестування, що є замкненим технологічним циклом, який включає чотири обов’язкові компоненти: комп’ютерний банк уніфікованих тестових завдань, тест, тестовий іспит, статистичний аналіз тесту та тестових завдань.
Для реалізації технологічного циклу стандартизованого тестування було розроблено програмно-технологічний комп’ютерний комплекс. Автор роботи брала безпосередню участь у підготовці технічного завдання, розробці інтерфейсу окремих модулів, тестуванні програмного продукту та визначенні його основних функціональних призначень. Комп’ютерна програма складається з чотирьох основних функціональних блоків-модулів (сервісний рівень –, рівень підготовки тестових завдань та експертизи –, рівень формування іспиту та підготовки екзаменаційних буклетів –, рівень обробки результатів проведення іспиту –) пов'язаних між собою інформаційними потоками і технологічними зв'язками загального циклу обробки інформації в процесі стандартизованого тестування та може бути задіяна на всіх етапах тестування.
Модуль 1. Комп’ютерний банк уніфікованих тестових завдань.
Формування банку тестових завдань здійснюється таким чином:
1. Робота над створенням банку тестових завдань розпочинається з визначення мети проведення тестового контролю. У нашому випадку мета тестування –оцінювання підсумкових знань студентів-медиків, встановлення відповідності рівня професійних знань студентів мінімально-необхідному рівню компетентності згідно з державними стандартами та розробка форм для зворотного зв’язку.
2. Наступним етапом роботи над банком тестових завдань є описування області знань, що діагностуються. Для цього у роботі було проведено аналіз професійної діяльності та визначено перелік знань, вмінь та навичок необхідних для практики медичної сестри, які можна перевірити за допомогою тест-системи. Аналіз орієнтувався на фахівця випускника, тому було опрацьовано освітньо-кваліфікаційну характеристику, освітньо-професійну програму та програми з предметів, що вивчаються при підготовці медичних сестер. Було визначено перелік профілів, які доцільно було б виносити на тестування. На цьому етапі ними були: сестринський процес, медсестринство в терапії, медсестринство в хірургії, медсестринство в педіатрії, медсестринство в акушерстві та гінекології, гігієна.
. Перегляд області знань, що діагностується. Для цього на базах Національного медичного університету (викладачі всіх профілів підготовки медичних сестер) та Київському міському медичному коледжі №4 (викладачі сестринської справи) на факультетах підвищення кваліфікації було проведено обговорення змісту та визначено доцільність (відповідність), частоту практичного виконання та критичність кожного елемента компетентності. В результаті обговорення профіль “сестринський процес” було замінено більш широким –“сестринська справа”, гігієну було вирішено за доцільне розглядати у кожному профілі, невідкладні стани було визнано як окремий профіль, внаслідок критичності елементів компетентності.
. Вибір формату тестових завдань. Для оцінювання навчальних досягнень медичних сестер було вибрано багатовибіркові тестові завдання, що складаються з умови та списку варіантів відповідей, з яких екзаменований мусить вибрати правильну чи найкращу відповідь. Умова тестового завдання описує певну проблему та ставить завдання перед екзаменованим, варіанти відповідей є правдоподібними і відповідають одній предметній області. Даний формат є найуживанішим у більшості міжнародних національних тестових системах як такий, що забезпечує достатню діагностичну спроможність і найменшу тестову невалідність.
. У 2001-2002 р. на базі Центру тестування проводилася фахова експертиза тестових матеріалів. Експерти працювали в комітетах, організованих за профілем. Було організовано п’ять комітетів: сестринський, терапевтичний, хірургічний, педіатричний, комітет акушерства та гінекології. Експертиза проводилася у комп’ютерному варіанті, що унеможливлювало розповсюдження тестових матеріалів та давало можливість вносити правки до тестових завдань безпосередньо експертами. В результаті було створено національний банк тестових завдань для екзамену “Крок М сестринська справа” у кількості 6260 тестових завдань.
Модуль 2. Тест.
1. Відповідно до структури змісту формується екзаменаційний тест. З комп’ютерного банку уніфікованих тестових завдань вибираються тестові завдання. У 2001, 2002 роках екзамен “Крок М сестринська справа” було сконструйовано з окремих субтестів відповідного профілю, що складали єдиний екзаменаційний тест. Формувався екзаменаційний тест у 2001 р. українською мовою у дев’яти варіантах з одного набору тестових завдань, що є умовою для того щоб порівнювати результати тестування. У 2002 р., врахувавши досвід екзамену 2001 р., екзаменаційний тест формувався українською та російськими мовами у 18 варіантах. Загальна довжина екзаменаційного тесту (кількість тестових завдань) становила 150 тестових завдань.
. Наступним етапом є дизайн та друкування екзаменаційних матеріалів. Для цього розробляється оригінал-макет екзаменаційного буклету, визначається остаточна кількість студентів, що прийматимуть участь у тестуванні та створюється комп’ютерна база екзаменованих. Екзаменаційний буклет крім тестових завдань містить інструкцію для студентів, про те яким чином відповідати на тестові завдання, список авторів тестових завдань, список експертів тестових завдань, які проводили фахову експертизу. Списки авторів та експертів персоніфікують відповідальність цих людей за якість екзаменаційного буклету. У кінці буклету розміщується таблиця лабораторних показників та українсько-російський словник.
Модуль 3. Тестовий екзамен.
Тестовий екзамен проводився згідно з графіком, який затверджується МОЗ України. У кожному внз створюється екзаменаційна комісія, до складу якої входить представник (адміністратор) Центру тестування. Екзамени проводяться з дотриманням Регламенту проведення екзаменів у формі бланкових, з використанням єдиних уніфікованих бланків відповідей.
Обробка бланків відповідей проходить у Центрі тестування, екзаменаційні буклети залишаються у внз для використання у навчальному процесі.
Модуль 4. Обробка результатів. Статистичний аналіз тесту та тестових завдань.
Обробка результатів тестування проходить у два етапи.
Статистичний аналіз отриманих результатів.
Відповідно до критеріїв кількісного аналізу об’єктивності та валідності результатів тестування було проведено аналіз результатів усіх внз. Результати екзамену поділялися на два типи: валідні та невалідні. У таблиці наведено зразки статистичних показників. Результати внз, які були визнано не валідними у подальшому аналізі не приймають участі.
II Результати національного оцінювання рівня професійної компетентності медичних сестер.
Для практичної перевірки розробленої моделі моніторингу проводився аналіз для 26 регіонів, що відповідає кількості областей України з м. Київ.
Національний показник рівня професійної компетентності для тесту 2001 р. склав 67%. Більшість регіонів знаходяться у 10%-му інтервалі між 60 та 70%. З одного боку, це характеризує метод, за яким було проведено атестацію, як валідний, з іншого –свідчить про рівномірну якість підготовки випускників.
У 2002 р. національний показник склав 75,0%, що на 8% більше ніж у 2001 р. Різниця між мінімальним та максимальним середніми значеннями за регіонами в 2001 р. склала 19,5%, у 2002 р. –,1%. Показники 2002 р. за кількістю студентів у регіонах, географічними зонами, статусам внз аналогічні показникам 2001 р. Середні показники стандартизованого тестування 2002 р. за географічними зонами знаходяться у 6%-му інтервалі (Схід - 78,8%, Південь –,5%, Захід –,2%, Північ –,6%, Центр –,9%), що підтвердило рівномірність підготовки медичних сестер в Україні у цілому, (різниця існує на більш низьких рівнях моніторингу (див. діаграму 1)).
Показники приватних навчальних закладів (63,7%) нижчі за показники державних закладів (75,1%) на 11,4%; у 2001 р. ця різниця складала 8,6%. Це підтверджує припущення, про те що рівень підготовки медичних сестер у приватних навчальних закладах нижчий, за рівень підготовки державних закладів та про те, що інтеграційні зміни у навчальному процесі проходять повільніше.
На прикладі Львова (діаграма 2) показано муніципальний рівень моніторингу, який дозволяє проаналізувати не лише загальні результати, а й дані з окремих профілів знань. У Львові чотири внз здійснюють підготовку медичних сестер. Всі вони відносяться до різних категорій: це державний медичний коледж, приватний медичний коледж, сестринський факультет державного медичного університету, медичне училище Львівської залізниці. Результати моніторингу свідчать про те, що у Львові найкраще ведеться викладання медсестринства в терапії, що взагалі характерно для України вцілому, найгірші справи з викладання медсестринства в акушерстві та гінекології. У 2001 р. Львівський медичний університет вперше випустив 16 медичних сестер. Низький середній показник, що не співпадає з даними по країні, свідчить про те, що у внз недостатньо досвіду у викладанні для студентів даного освітнього рівня та спеціальності. Викладання у приватному медичному коледжі міста має внутрішні проблеми організації навчального процесу.
У дисертаційній роботі детально з кількісними показниками проаналізовано усі рівні моніторингу.
Розроблена та апробована в системі підготовки медичних сестер модель моніторингу мала на меті: апробувати інструмент діагностики рівня професійної компетентності випускників медичних училищ, який є компонентом державних стандартів вищої освіти, і визначати відповідність показників якості вищої освіти медичного спрямування галузевим державним стандартам, що запроваджуються в системі підготовки медичних сестер; порівняти рівні підготовки випускників даного напряму по всій країні і започаткувати запровадження системи рейтингового оцінювання діяльності навчальних закладів за результатом їхньої освітньої діяльності; визначити рівень підготовки медичних сестер з критичних профільних питань, зокрема з надання допомоги при невідкладних станах, надати навчальним закладам детальну інформацію про профіль знань, які мають випускники навчального закладу для корекції навчального процесу.
Висновки
Підготовка фахівців для напряму “Медицина” має такі особливості: підготовка фахівців здійснюється двома шляхами, що призводять до набуття фахівцем двох різних кваліфікацій –“медична сестра” або “лікар”; послідовності освітньо-кваліфікаційних рівнів, що здобуваються особою при отриманні відповідної кваліфікації, різні і не є продовженням (доповненням) одна одної; кваліфікація –“медична сестра” присвоюється після засвоєння освітньо-професійної програми підготовки фахівця освітньо-кваліфікаційного рівня “молодший спеціаліст та бакалавр”; підготовка фахівця освітньо-кваліфікаційного рівня “молодший спеціаліст” здійснюється на базі повної та неповної середньої освіти. Сучасні вимоги до фахівця вимагають запровадження комплексних підходів до визначення показників якості навчання та методів її вимірювання, які мають реалізовувати принципи порівнювальності та об’єктивності. Методом контролю, що відповідає вимогам державних стандартів освіти, а саме, вимозі діагностичності, є метод стандартизованого тестування рівня професійних знань.
Реальний стан системи навчання можна обстежити та визначити при формуванні рівнів моніторингу професійних знань. Багаторівневий моніторинг побудовано за принципами системності, модульності та автономності, цілеспрямованості, об’єктивності, погодженості, коммунікативності та технологічності, інформативності, інтегрованості та диференційованості, керованості, несуперечності. Використання стандартизованого тестового контролю дозволяє виявляти зміни кількісно у всій системі підготовки фахівця та реалізувати нові функції моніторингу: динамічну, порівняльну, конкурентну, інформаційну, управлінську, комплексну.
Сучасна технологія стандартизованого тестування є замкненим технологічним циклом, який включає чотири обов’язкові компоненти: комп’ютерний банк уніфікованих тестових завдань, тест, тестовий іспит, статистичний аналіз тесту та тестових завдань. Медичні ліцензійні іспити як засіб стандартизованого контролю потребують відповідної комп’ютерної підтримки. Комп’ютерна програма складається з чотирьох основних функціональних блоків, пов'язаних між собою інформаційними потоками і технологічними зв'язками загального циклу обробки інформації у процесі тестування: блок формування банка тестових завдань та експертизи; блок формування тесту; блок обробки результатів тестування; блок аналізу тестів та тестових завдань.
Модуль банку тестових завдань та тесту включає багатовимірну матрицю змісту та відповідну багатовимірну специфікацію тестових завдань.
Модуль аналізу тестів та тестових завдань реалізує такі основні функції: виконання розрахунків субтестів (відсоток відповідей за кожним субтестом); розрахунок психометрії тесту (визначення середнього первинного балу, середньоквадратичного відхилення, коефіцієнта надійності R, виду розподілу, асиметрії, ексцесу, коефіцієнта кореляції тощо); розрахунок психометрії ТЗ (індекс складності, індекс дискримінації, відсоток відповідей на кожен дистрактор тощо); генерація даних для аналізу валідності тесту.
Засіб діагностики якості підготовки медичних сестер відповідно до вимог державних стандартів має забезпечити вимірювання такого показника, який за властивостями є комплексним, інтегрованим і відповідає структурі змісту банку тестових завдань та тесту, що ґрунтуються на вимогах та змісту ОКХ і ОПП галузевих стандартів. Вимірюючи фактично один загальний результат за тестом (відсоток правильних відповідей) метод стандартизованого тестування, базуючись на багатовимірній структурі змісту, що закладається в основу комп’ютерного банку тестових завдань та змісту тесту, реалізує можливість диференціації цього показника на окремі складові. Розроблений комплекс комп’ютерних програм та відповідні форми подання результатів дозволяють отриманий результат тестування професійних знань подати як інтегрований показник якості підготовки студента шляхом диференціації його відповідно до змісту та використовувати ці результати як для моніторингу, так і для управління якістю підготовки медичних сестер.
Список опублікованих праць за темою дисертації
Артемчук Л.М. Принципи створення тестових завдань //Медична освіта. - 2003. - №2. - С. 67-68.
Артемчук Л.М., Мруга М.Р. Встановлення критеріїв “склав/ не склав”// Педагогіка і психологія професійної освіти. - 2000. - №2. - С. 134-141.
Артемчук Л.М., Булах І.Є., Алексійчук І.С. Національні ліцензійні іспити з медицини у США й Україні //Педагогіка і психологія професійної освіти. - 1999. - №3. - С. 308-313.
Артемчук Л.М., Булах І.Є. Вимоги до рейтингової системи оцінювання підсумкових знань. //Педагогіка і психологія професійної освіти. - 1998. - №3. - С. 79-82.
Артемчук Л.М., Булах І.Є, Мруга М.Р. Методика дослідження валідності методів контролю знань //Педагогіка і психологія професійної освіти. –. - №2. –С. 97-100.
Крок М Сестринська справа 2002: Збірник тестових завдань для ліцензійного іспиту /Упорядники: Артемчук Л.М., Булах І.Є., Чернишенко Т.І. - К.: МОЗ України, Центр тестування МОЗ України, 2002. –с.
Крок М Сестринська справа 2001: Збірник тестових завдань для ліцензійного іспиту /Упорядники: Артемчук Л.М., Булах І.Є., Чернишенко Т.І. - К.: МОЗ України, Центр тестування. 2001. –с.
Артемчук Л.М., Булах І.Є, Жегрій Т.І. Нові підходи до системи оцінювання знань //Матеріали навч.-метод. конф. “Сучасні підходи до організації навчального процесу та активізації самостійної роботи студентів та інтернів в умовах реалізації нового навчального плану”. - Київ - 1995.-С.8-9.
Артемчук Л.М., Добровська Л.М. Комп’ютерні експертні системи-новітні технології навчання //Тези доп. української наук.-метод. конф. “Проблеми підготовки медичних та фармацевтичних кадрів України”. –Одеса, 1997. - С. 372-373.
Артемчук Л.М., Булах І.Є, Алексійчук І.С. Впровадження комп’ютерного тестування у навчальний процес медичних ВУЗів. //Тезисы международной конф. “Современные проблемы дидактика высшей школы”. - Донецк, 1997. - С.89-90.
Артемчук Л.М., Булах І.Є., Мруга М.Р., Коломієць Є.А., Русіна Л.І. Комп’ютерна підтримка технологічного циклу ліцензійних іспитів // Матеріали наук.-метод. конф. “Актуальні проблеми підготовки фахівців у вищих медичних та фармацевтичному навчальних закладах України”. –Чернівці, 2002. - С. 257.
Артемчук Л.Н., Булах И.Е., Гарина М.Г., Филончук И.В. Методология разработки новых стандартов высшего медицинского образования. // В сб. “Развитие квалиметрии человека и образования: теоретические постановки и практика”. Книга 2 /Материалы X симпозиума “Квалиметрия в образовании: методология и практика”. –М.: Исследовательский центр проблем качества подготовки специалистов, 2002, C. 345-353.
Артемчук Л.Н. Апробация стандартизированного метода контроля успеваемости студентов-фармацевтов. // Медицинское образование XXI века: Сб. науч. тр. - Витебск, 2002. - С. 287-289.
Система моніторингу та оцінка якості освіти (матеріали аналітичного дослідження) /Булах І., Вороненко Ю., Артемчук Л. та ін. –Київ: Програма розвитку Організації об’єднаних націй, UNDP/ПРООН, 2001. –с.
L.Artemchuk, M.Mrouga, Y.Bogachkov. The dynamics of knowledge structure of graduating medical students based on results of medical licensing examination. // Матеріали конф. AMEE Conference “Global Standards in Medical Education”, Берлін, Німеччина. 22.08-25.08.2001. - С.438.
L.Artemchuk, M.Mrouga, N.Aleksandrovich. Supporting the introduction of an objective national testing examination. //Матеріали конф. AMEE Conference “Horizon Scanning in Medical Education: 2020 Vision”. Ізраїль, 2000. -C.15
АНОТАЦІЯ
Артемчук Л.М. Комп’ютерне оцінювання професійних знань в структурі підготовки медичних сестер. –Рукопис.
Дисертація на здобуття наукового ступеня кандидата педагогічних наук за спеціальністю 13.00.04 –теорія і методика професійної освіти. –Київський національний університет імені Тараса Шевченка, Київ, 2003 рік.
У дисертації обґрунтовано необхідність запровадження сучасних методів вимірювання та оцінювання знань студентів при використанні у навчальному процесі інформаційних технологій. Розроблено форму моніторингу якості професійної підготовки фахівців для освітньо-кваліфікаційного рівня “молодший спеціаліст”, яка базується на практиці стандартизованого тестового контролю, що забезпечує одержання об'єктивних і порівнювальних показників якості й ефективності навчання.
Сучасна технологія стандартизованого тестування є замкненим технологічним циклом, що включає чотири обов’язкові компоненти: комп’ютерний банк уніфікованих тестових завдань, тест, тестовий іспит, статистичний аналіз тесту та тестових завдань. Медичні ліцензійні іспити як засіб стандартизованого контролю потребують відповідної комп’ютерної підтримки. Комп’ютерна програма складається з чотирьох основних функціональних блоків пов'язаних між собою інформаційними потоками і технологічними зв'язками загального циклу обробки інформації у процесі тестування.
Розроблено та апробовано методику комп’ютерного оцінювання професійних знань студентів внз України для спеціальності “сестринська справа” освітньо-кваліфікаційного рівня “молодший спеціаліст” та визначено форми подання даних оцінювання для використання в системі моніторингу та управління якістю підготовки спеціалістів.
Ключові слова: інформаційні технології, моніторинг, оцінювання, стандартизований тест, технологічний цикл.
АННОТАЦИЯ
Артемчук Л.Н. Компьютерное оценивание профессиональных знаний в системе подготовки медицинских сестер. –Рукопись.
Диссертация на соискание научной степени кандидата педагогических наук по специальности 13.00.04 –теория и методика профессионального обучения. –Киевский национальный университет имени Тараса Шевченко, Киев, 2003 год.
Диссертация посвящена проблеме оценивания профессиональных знаний в системе подготовки медицинских сестер. Информационные технологии обучения, базируясь на новых подходах подачи и усвоения знаний, требуют новых, современных методов измерения и оценивания. Средством измерения в современном образовании есть стандартизированный тест, методологией которого являются государственные стандарты высшего образования Украины, внедрение которых начато в Украине. Конвертация результатов стандартизованного тестового контроля происходит по многобальным интервальным шкалам, которые построены на основании стандартных нормированных Z и T шкал. В работе анализируются абсолютные и относительные критерии принятия решения “сдал / не сдал”. Определяются наиболее подходящие критерии для медицинского образования, а именно метод Недельского и метод Хофсти.
Построенная нами модель мониторинга качества профессиональной подготовки специалистов для образовательно –квалификационного уровня “младший специалист”, базируется на практике стандартизированного тестового контроля, объективной и валидной информации. Современные технологии позволяют организовать мониторинг как наиболее информативный и современный метод слежения за развитием учебного процесса.
Современная технология стандартизированного тестирования является замкнутым технологическим циклом и состоит из четырех обязательных компонентов: компьютерный банк унифицированных тестовых заданий, тест, тестовый экзамен, статистический анализ теста и тестовых заданий. Для реализации технологического цикла стандартизированного тестирования был разработан программно - технологический комплекс, который состоит из 4-х функциональных блоков, связанных между собой информационными потоками и технологическими связями общего цикла обработки информации в процессе тестирования. В ходе работы были определены основные функциональные назначения комплекса, разработана и апробирована методика компьютерного оценивания профессиональных знаний медицинских сестер.
Средства диагностики качества подготовки медицинских сестер в соответствии с требованиями государственных стандартов обеспечили измерение комплексного интегрированного показателя. Измеряя, по сути, единственный результат по тесту (процент правильных ответов) метод стандартизированного тестирования, базируясь на многомерной структуре содержания экзамена, которая заложена в компьютерный банк тестовых заданий и содержание теста, имеет возможность разложить этот показатель на составляющие и использовать эти показатели, как для построения мониторинга, так и для управления качеством подготовки медицинских сестер. За результатами национального тестирования был проведен комплексный анализ.
Ключевые слова: информационные технологии, мониторинг, оценивание, стандартизованный тест, технологический цикл.
ANNOTATION
Artemchuk L.M. Computer-based assessment of professional knowledge in the structure of nurses training. –Manuscript.
Dissertation for obtaining of scientific degree of candidate of pedagogical sciences on specialty 13.00.04 - theory and methods of professional education. - Kyiv national university named after Taras Shevchenko, Kyiv, 2003.
The dissertation reasons the necessity to introduce modern methods of measurement and assessment of student’s knowledge under the use of information technologies in teaching process. There is developed the form of monitoring of quality of professional training of junior specialists. Monitoring is based upon standardized testing that allows obtaining of objective and comparable indicators of quality and effectiveness of education.
The modern technology of standardized testing is a closed technological cycle that contains four mandatory components: computer bank of unified test items, test, test examination, statistical analysis of testing and test items. Medical licensing examination as a method of standardized testing requires relevant computer preparation. Computer program consists of four main functional blocks that are connected in between by information flows and technological ties of general cycle of information processing in testing.
There is developed and probed the method of computerized assessment of professional knowledge of Ukrainian students that graduate as “junior specialists” with qualification “nurse”. There are identified forms of presentation assessment data for use in quality monitoring and control of professional education.
Key words: information technologies, monitoring model, assessment, standardized test, and technological cycle.