Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Показатели качества тестов
1. Эмпирические требования к качеству тестовых заданий
Тестовые задания (равно как и задания в тестовой форме) отвечают требованиям наличия цели, краткости, технологичности, логической фор мы высказывания, наличия определенного места для ответов, одинаковос ти правил оценки ответов, правильности расположения элементов зада ния, одинаковости инструкции для всех испытуемых, адекватности инст рукции форме и содержанию задания.
С помощью цели можно определить миссию, характеристики задания. Крат кость обеспечивается тщательным подбором слов, символов; хорошо, когда задание содержит не более одного придаточного предложения. Под техноло гичностью понимается компоновка заданий, которая позволяет весь процесс тестирования или его большую часть вести быстро, точно, экономично и объек тивно. Логическая форма позволяет превратить утверждение ответа учащего ся в форму истинного или ложного утверждения. Наличие определенного ме ста для ответов является внешним признаком задания в тестовой форме.
Правильность расположения элементов задания является требовани ем, помогающим испытуемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение. Одинаковость правил оценки ответов также одно из важных средств организации процесса педа гогических измерений. Адекватность инструкции форме и содержанию за дания означает взаимное соответствие перечисленных компонентов, что необходимо для выполнения заданием своей функции.
Тестовое задание оценивается по конкретности и абстрактности, глуби не обобщенности, полноте знаний. Задание должно быть легко понимае мым, однозначным, по возможности кратким. Без эмпирической проверки задания не могут называться тестовыми. Традиционные вопросы, требую щие многословных ответов, не рекомендуется включать в тест.
Чем глубже и полнее отражается в тестовых заданиях содержание учебной дисциплины, тем увереннее можно судить о содержательной валидности. Создать тест, включающий все вопросы дисциплины, трудно и далеко не всегда рационально. В тестовые задания включаются те основ ные, значимые положения, которые обучаемый должен знать в результате изучения дисциплины.
Содержание тестовых заданий должно соответствовать материалам про читанных лекций, рекомендуемых учебников, доступных учащимся инструктивно-методических материалов. Это особенно важно для новых мето дик расчетов, неоднозначно трактуемых понятий, терминов.
При разработке теста необходимо учитывать принципы отбора содержа ния учебного материала для тестовых заданий: значимость (наиболее важ ные, ключевые элементы знания); научная достоверность (спорные точки зре ния включать в тест не рекомендуется); соответствие уровню современного состояния науки (включение в тест не только достоверного, но и современно го научного материала); репрезентативность (полнота содержания, достаточ ность для контроля); вариативность содержания (изменение теста по мере изменения содержания учебной дисциплины, количества часов, отводимых на ее изучение, разное соотношение простых и трудных заданий для слабых и сильных учебных групп, студентов); возрастающая трудность (от легких за даний, которые верно выполняют большинство обучаемых, до самых труд ных). Важно также соотношение теоретических и практических заданий.
При расположении тестового задания важно шрифтовое и цветовое вы деление вопроса и ответов. B.C. Аванесов в этой связи рекомендует наби рать вопросы прописными буквами, а ответы - строчными. Однако возможны и другие варианты. Общим правилом является то, что шрифто вое и цветовое выделение текста не должно отвлекать внимание от содер жания задания. Кроме того, размер шрифта теста, шрифтовое и полигра фическое оформление должны соответствовать возрасту детей, для кото рых проводится тестирование.
Также важно:
• пространственно отделять ответы посредством отступа, располагать ответы в один или два столбца (более не рекомендуется);
• располагать задание на одной странице;
• обеспечивать достаточное место для ответов в случае задания от крытой формы;
• в случае использования невербального материала обеспе чить высокое его качество;
• в том случае, если тестирование предполагает несколько частей те ста (субтестов), то каждую следующую часть следует начинать с новой не четной страницы, поместив на четной стороне предупреждение о необхо димости перевернуть страницу после сигнала ведущего.
B.C. Аванесов настаивает на утвердительном варианте формулирова ния задания в тестовой форме. Главный довод такого мнения - в утверди тельном тестовом задании информация более краткая, выделяется глав ное, нет повторения одних и тех же слов, меньше приходится читать невер ных сведений.
Тем не менее нельзя не согласиться с А.Н. Майоровым, который утвер ждает, что хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному заданию в форме утверж дения. Автор помимо прочего приводит и инструкцию по составлению тес товых заданий Голландского института CITO, в которой прямо указывается на необходимость использования прямых вопросов, представляющих со бой полное предложение с вопросительным знаком в конце.
А.Н. Майоров в своих трудах приводит целый ряд требований к состав лению тестовых заданий (равно как и заданий в тестовой форме). Среди них следующие требования.
1. Начинайте формулировать вопрос с правильного ответа. Од ной из наиболее распространенных ошибок является наличие более одно го правильного ответа, или, наоборот, отсутствие правильного ответа как такового. Начиная формулирование вариантов вопросов с подбора верно го ответа, разработчик сумеет обойти указанные выше ошибки.
2. Содержание задания должно отвечать программным требова ниям и отражать содержание обучения. Встречаются случаи, когда в тестирование пытаются включить задания, правильного ответа на которые просто не существует. Как правило, это вопросы, которые выясняют оцен ки, мотивацию, мнения и т.д. Использование таких вопросов в тестах, вы являющих уровень обученности учащихся, некорректно.
3. Вопрос должен содержать одну законченную мысль. Тестовое задание должно проверять один элемент знания. В противном случае ста новится неясным, с каким элементом знаний ученик не справляется, в чем заключена причина невыполнения задания.
4. При составлении вопросов следует особенно внимательно ис пользовать слова «иногда», «часто», «всегда», «все», «никогда». Дан ные слова часто имеют субъективное понимание, что может приводить к ошибочным ответам. С другой стороны, использование данных слов явля ется скрытой подсказкой для тестируемых.
5. Вопрос должен быть четко сформулирован, исключаются по возможности, слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т.д.
6. Избегайте вводных фраз или предложений, имеющих мало свя зи с основной мыслью, не следует прибегать к пространным ут верждениям, так как они приводят к правильному ответу, даже если уча щийся его не знает.
7. Правильные ответы должны быть разумны, умело подобра ны, не должно быть явных неточностей, подсказок.
8. Не следует задавать вопросы с подвохом - скорее всего в заб луждение будут введены наиболее способные или осведомленные учащи еся, которые знают достаточно для того, чтобы попасться в ловушку, а так же это противоречит цели - определению уровня знаний и понимания.
9. Все варианты ответов должны быть грамматически согласо ваны с основной частью задания - в любом случае следует использовать короткие, простые предложения без зависимых или независимых оборотов.
10. Как можно реже использовать отрицание в основной части; с одной стороны, это приводит к противоречиям при чтении задания, с дру гой - отрицательные знания не так видны, как позитивные. В том случае, если отрицания нельзя избежать или по логике задания они могут усложнить поиск правильного ответа, необходимо выделять эти отрицания, используя курсив, жирный шрифт или подчеркивание. Отрицание часто вводится тогда, когда утвердительный вопрос вызывает слишком много правильных ответов.
11. Правильные и неправильные ответы должны быть однознач ны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта. Не рекомендуется приводить явно неверные ответы, которые обучаемый сразу распознает. Не правильные, но правдоподобные задания носят название дистракторов (от англ. to distract - отвлекать).
12. Если ставится вопрос количественного характера (а также если в нем есть степени сравнения, элементы ранжирования), то ответы к нему должны располагаться упорядоченно: от меньшего к большему или наоборот.
13. Лучше использовать длинный вопрос и короткий ответ. В про тивоположной ситуации на прочтение ответов уходит больше времени, боль ше сил тратится на анализ высказываний.
Для заданий дополнения А.Н. Майоров приводит следующие требования.
1. Лучше всего использовать один пропуск. В редких случаях - 2. Ис пользование большого количества пропусков затрудняет не поиск правиль ного ответа, а восприятие задания.
2. Дополнять нужно наиболее важное, то, знание чего нужно проверить.
3. Дополнения лучше ставить в конце предложения.
М.К. Ивлиев в учебном пособии, посвященном созданию компьютерных тестов, обосновывает следующие требования к составлению заданий для автоматизированного контроля. Такие задания составляются с учетом огра ничений экрана дисплея (кадра) и используемой системы компьютерного тестирования. Типичный размер кадра - 20 строк по 60-70 знаков (половина страницы печатного текста) и более. Если варианты ответов короткие (типа «Да», «Нет»), а вопрос длинный, то его размещают на двух, трех и более строках. Короткие варианты ответов располагают по центру. Варианты отве тов на экране отделяют друг от друга одной или двумя пустыми строками (лучше воспринимается задание). Если в тестовом задании, например, пять вариантов ответов по 2-3 строки текста в каждом, то они отделяются друг от друга одной пустой строкой. Обилие текстовой информации на экране дисп лея создает перенасыщенность, рассеивающую внимание обучаемого.
Здесь логично упомянуть, что в разработке педагогических тестов мож но выделить три этапа: планирование, написание заданий, анализ зада ний. Составитель теста, начинающий с написания задания, скорее всего создаст узконаправленный тест. Без предварительного плана некоторые темы изучаемого предмета могут занять слишком много места, в то время как другие останутся незатронутыми. Обычно по одним темам объектив ные задания подготовить легче, а по другим - труднее. Так, легче подгото вить задания, которые требуют запоминания простых фактов, и труднее - задания на критическую оценку, обобщение различных фактов или на при менение изученных принципов к новым ситуациям. Проводившиеся иссле дования показали, что фактический материал по большей части забывает ся, а усвоенные основные принципы и их применение в новой ситуации или вообще не забываются, или после завершения обучения обобщаются. Стро ящийся без плана тест может оказаться перегруженным случайным матери алом. Основные критические замечания в адрес плохо построенных объек тивных тестов связаны с их перегруженностью несущественными деталями и акцентом на механическую память. Во избежание несбалансированности и диспропорции охватываемых тестом тем составлению заданий должна предшествовать его спецификация.
Спецификация - это определение ос новных характеристик теста. Спецификация включает в себя (В.САванесов):
• название теста;
• общую цель разработки;
• перечисление задач, решаемых с помощью теста;
• общее описание содержания теста (составные части теста и разде лы дисциплины, охватываемые им);
• план теста;
• характеристику содержания каждого задания - что оно измеряет;
• среднее время выполнения задания и ориентировочную меру выпол нимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых;
• характеристику ответов к каждому заданию (меру привлекательнос ти каждого задания в заданиях с выбором);
• количество форм, заданий и инструкций (примеры заданий и инст рукции к ним);
• оценки за выполнение заданий;
• краткие рекомендации по апробации теста; объем и основные ха рактеристики выборки испытуемых;
• определяемые характеристики качества заданий; методы исследо вания;
• ожидаемую интерпретацию тестовых результатов (критериально ори ентированную, нормативно-ориентированную или содержательную интер претацию).
2. Выборка стандартизированного педагогического теста
Разработка тестов как измерительных инструментов связана с требова ниями к расчету показателей качества тестов и требования к их оснаще нию. Такими показателями качества являются прежде всего выборка, на дежность и валидность тестового инструментария.
Для успешного расчета необходимой выборки стандартизации дидактичес кого теста используется ряд понятий, достаточно тесно взаимосвязанных.
Генеральная совокупность - множество элементов, объединенных общей характеристикой, указывающих на их принадлежность к единой системе и изучаемых в рамках какого-либо обследования и определенных территориально-временных границах.
Генеральная совокупность применительно к педагогической сфере пред ставляет собой именно ту совокупность (школ, учащихся, районов, городов и т.д.), на которую исследователь (диагност) хочет распространить выводы проведенного им педагогического исследования (тестирования).
Выборочная совокупность - часть генеральной совокупности, объек ты которой являются основными объектами обследования. Она отбирается с помощью специальных методик и правил таким образом, чтобы ее харак теристики отражали основные свойства генеральной совокупности.
В педагогической и психологической диагностике анализ основных ха рактеристик выборочной совокупности, отбор методов ее комплектования имеют большое значение в процессе стандартизации и валидизации тес товых методик при разработке тестовых программ.
Основа выборки - система взаимосвязанных элементов генеральной совокупности, удовлетворяющих требованиям полноты, точности, адекват ности. Выборка должна удовлетворять следующим требованиям:
а) полноты - в составе генеральной совокупности должны находиться все ее элементы, иначе выборка будет смещена;
б) точности - информация по каждой единице наблюдения должна быть реальной. Если, например, основой выборки служат списки учащихся, то они должны быть уточнены, чтобы в них не попали выбывшие учащиеся;
в) отсутствия дублирования - каждая единица наблюдения не должна повторяться, т.е. попадать в список дважды;
г) адекватности - основа выборки должна соответствовать целям и за дачам обследования. По существу проблема адекватности основы выбор ки - это проблема правильного определения (конструирования) генераль ной совокупности;
д) удобства работы - единицы наблюдения, входящие в генеральную совокупность, необходимо пронумеровать, а фамилии и инициалы четко вписать в общий список.
Объем выборки зависит от числа признаков, относительно которых она производится, и должен быть велик настолько, чтобы в каждую выделен ную группировку попало достаточное количество элементов.
3. Надежность теста и проблема угадывания правильного ответа
Достаточно надежный тест позволяет получить устойчивую оценку спо собностей испытуемых той группы, к которой он применяется.
Надежность теста как средства измерений определяется отсутствием ошибок измерения тестовых баллов и тем, в какой мере результаты изме рений воспроизводятся при многократном использовании теста по отноше нию к данной группе испытуемых. Ошибки измерения возникают в связи с усталостью испытуемого, нервным напряжением, содержанием включенных в тест заданий, ошибочными ответами, неправильной интерпретацией инструкций и попытками угадать ответ. Эти ошибки снижают индивидуаль ные результаты испытуемого и надежность теста.
А. Анастази выделяет случайные ошибки, вызванные невнимательнос тью или незнанием учащегося, и истинные ошибки, то есть ошибки, допу щенные в конструкции теста. С этой точки зрения надежность показывает, в какой степени индивидуальные различия вызваны истинными, а какие случайными ошибками.
Чтобы оценить вклад различных источников в ошибку измерения, необ ходимо использовать разные способы оценки надежности. Прежде всего это ретестовая надежность. Для этого тест используют второй раз, и коэффи циент надежности в этом случае равен корреляции между результатами, по лученными на одних и тех же испытуемых в каждом из случаев проведения теста. Конечно же, какой-то процент колебаний результатов теста может быть вызван не только результатами теста, но и некоторыми отвлекающими мо ментами: самочувствием, эмоциональным состоянием и т.д. Тем не менее чем выше ретестовая надежность, тем менее чувствительны результаты к обычным изменениям состояния испытуемого и обстановке тестирования.
Ретестовая надежность зависит от интервала времени, в котором она происходит. С увеличением времени данный вид надежности уменьшает ся. С другой стороны, если промежуток времени невелик, то испытуемые припоминают свои прежние ответы. В этом случае обследуемые указыва ют примерно одинаковые правильные и неправильные ответы и коэффи циент корреляции окажется обманчиво высоким.
Другой способ определения надежности - метод расщепления. В этом случае каждый испытуемый получает два результата при разбивке теста на две сопоставимые части. При такой методике надежность является ме рой согласованности выборок содержания. Временная стабильность пока зателей в ней не представлена, так как применяется только один сеанс тестирования. Благодаря этому метод расщепления иногда называют ко эффициентом внутренней согласованности.
Еще одним способом определения надежности является надежность взаимозаменяющих форм. При этом те же самые испытуемые первый раз те стируются с помощью одной формы теста, второй раз - с помощью другой, сравнимой формы. Корреляция между показателями, полученными по этим двум формам, и служит коэффициентом надежности теста. При этом изме ряется как временная стабильность теста, так и согласованность ответов по двум выборкам заданий.
Кроме указанных видов надежности можно выделить также метод Кью-дера - Ричардсона.и другие статистические методы, описанные в специ альной литературе.
А.Н. Майоров определяет целый ряд факторов, оказывающих влияние на надежность тестового инструментария.
1. Величина теста. Чем длиннее тест, тем он надежнее. Выше отме чалось, что общая оценка теста состоит из истинной составляющей и ошибочной. Истинная составляющая, несомненно, больше ошибочной, и чем больше заданий в тесте, тем скорее сумма истинной составляющей будет возрастать, а ошибочной, соответственно, уменьшаться.
2. Непонятность и двусмысленность заданий. Непонятные и дву смысленные задания приводят к тому, что ответы на них даются случай ным образом. То есть в двух тестированиях будут получены разные резуль таты, таким образом, корреляция между результатами тестирований сни зится и, следовательно, надежность будет низкой.
3. Источники, связанные с испытуемыми: невнимательность, со стояние здоровья и т.д. Все эти факторы снижают надежность тестирова ния. Однако в том случае, когда выборка для апробации теста достаточно велика, а инструкция для проведения четко определяет условия проведе ния, то многого из перечисленного удается избежать.
4. Субъективное оценивание. Результаты выполнения заданий должны оцениваться одинаково разными проверяющими. Другими словами, правиль ный ответ в тесте должен быть однозначным. В том случае, если это требова ние будет нарушено, то будут допускаться различия между оценками разных проверяющих и между оценками одного проверяющего в разных случаях. Как следствие различных оценок корреляция между результатами выполнения тестирования будет уменьшена и надежность теста будет невысокой.
5. Ошибки в подсчетах. В том случае, если задания имеют однознач ную схему оценивания, причиной неудовлетворительной надежности мо гут стать случайные ошибки при подсчете баллов, их суммировании.
6. Инструкции для учащихся. В том случае, если задания имеют не ясные, двусмысленные инструкции, то результаты двух тестирований бу дут существенно различаться, а надежность окажется невысокой.
7. Инструкции к тесту могут быть причиной низкой надежности. Ин струкции должны обеспечивать одинаковость процедуры проведения тес тирования, быть понятными и недвусмысленными. Если условия проведе ния тестирования в одном случае отличаются от другого, то и корреляция результатов тестирования в этих случаях будет невысокой.
8. Случайное угадывание правильных ответов также является причи ной снижения надежности теста.
Остановимся на данной проблеме подробнее.
Один из доводов критиков тестирования заключается в том, что для боль шинства заданий существует вероятность случайного угадывания правиль ных ответов. В общем случае это проблема только заданий закрытого типа, и чем меньше возможных альтернатив предлагается испытуемому в рам ках одного задания, тем больше вероятность угадывания. Однако для за даний альтернативных ответов, используемых одиночно, вероятность уга дывания максимальна и составляет 50%. Исследователи настоятель но не рекомендуют использовать такие задания для тестов школьных достижений. Серия из пяти заданий альтернативных ответов дает вероят ность угадывания 0,0313, а из десяти заданий - всего лишь 0,00098.
Проблема угадывания зависит и от времени, выделяемого на тестиро вание, и в меньшей степени, от мотивации. Чем выше мотивация, тем боль ше вероятность того, что испытуемый попытается дать ответ случайно на те вопросы, на которые он не успевает ответить, то есть попытается уга дать. В свою очередь, количество вопросов, по которым возможно будет угадывание, зависит от времени, выделяемого на тестирование. Чем оно короче, тем больше будет вопросов, на которые распространится случай ное угадывание. Таким образом, для времени, выделяемого на тестирова ние, должен быть найден баланс: недостаток его ведет к угадыванию, из быток - к подсказкам и ослаблению дисциплины.
4. Валидность тестовых результатов
Одной надежности для обоснования качества теста недостаточно. Еще одной важнейшей характеристикой теста является его валидность. Валид ность - понятие, которое указывает, что и насколько хорошо тест измеряет. Цель процедуры установления валидности - выявить, как выполнение тес та соотносится с другими независимо наблюдаемыми фактами исследуе мых характеристик поведения или качеств личности. Конкретных методик определения валидности много. Отечественные и зарубежные исследова тели различают три основных вида валидности: валидность по содержа нию, конструктивная и критериальная валидность.
Критериальная валидность теста - характеристика теста, которая говорит о том, в какой мере данный тест можно использовать для оценки успеваемости учащегося. Если речь идет о тестах достижений, то критери альная валидность определяется тем, в какой мере результаты данного теста могут быть использованы для выводов об успеваемости испытуемо го. Существует несколько видов эмпирических данных, на основании кото рых можно подтвердить критериальную валидность теста:
• оценки учащегося, его место в списке класса, ранжированность по успеваемости;
• результаты других тестов;
• отзывы педагогов.
Существуют также другие, более сложные способы выражения данного вида корреляции.
Конструктивная валидность теста - гарантия, что тест измеряет то качество, которое имеет реальное психологическое содержание. Интеллект, самоуважение и креативность - примеры таких психологических конструк тов. Свидетельства в пользу конструктивной валидности теста могут принимать самые различные формы. Один из подходов состоит в том, чтобы показать, что результаты выполнения заданий, составляющих один тест, взаимозависимы, и, следовательно, в ходе тестирования измеряется одно и то же качество. Для проверки существования связи между заданиями часто используют методы ана лиза корреляций и факторного анализа. Другой подход состоит в том, чтобы показать, что тест ведет себя так, как должно было бы вести себя измеряемое качество. Например, можно предполагать, что результаты теста на креативность будут сильнее коррелировать с результатами теста на художественную одарен ность, чем с результатами теста на академическую успеваемость.
Содержательная валидность теста - степень, в которой задания те ста отражают содержание определенной предметной области. О содержа тельной валидности теста обычно судят по плану теста и методам, которые используются при его разработке. Для определения данного вида валиднос ти уместно задаться следующими вопросами. Была ли разумна процедура отбора, призванная обеспечить включение в тест нужного материала? Обес печивает ли эта процедура возможность судить по выполнению отобранных заданий об уровне знаний испытуемого в данной области и овладении им специфическими для данной области навыками?