Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Приложение 5.
Вывод функции успеха выполнения теста достижений из принципа максимальности информации
В. М. Соколов
Зав. кафедрой педагогики и управления образовательными системами Нижегородского государственного университета им. Н. И. Лобачевского,
доктор педагогических наук, профессор
Abstract
Представлен подход, демонстрирующий возможность получения известной в IRT функции успеха выполнения заданий педагогических тестов успешности, опирающийся на принцип максимальности информации, получаемой при тестировании.
I. Введение
Цель данной публикации – представить подход, в котором функция, описывающая вероятность правильного ответа, представляемого определенным испытуемым на конкретное тестовое задание (которую мы в дальнейшем, следуя терминологии Ю. М. Неймана и В. А. Хлебникова [4], будем называть функцией успеха), получена на основе использования принципа максимальности информации, получаемой при тестировании.
Отсылая читателя к достаточно доступным книгам и обзорным статьям [1 - 5], описывающим в разной степени подробности модель Раша, двух и трехпараметрическую модель Бирнбаума, современную теорию тестирования – Item Response Theory, остановимся лишь на общем виде функции успеха, соответствующей основной модели Раша [4, C. 14]
p = 1/{1 + exp[-(θ – δ)]} (1),
где р – вероятность ответа испытуемого, имеющего подготовленность θ, на задание трудности – δ. Именно такого типа функцию успешности мы и намереваемся получить, демонстрируя предлагаемый подход.
II. Вывод функции успешности
В общем случае, вероятность правильного ответа на конкретное тестовое задание зависит от многих факторов (от состояния и мотивированности испытуемого, времени, отведенного на выполнение теста, и т.д.). Мы же, следуя идее Раша, будем считать существенным параметром только разность между трудностью данного задания и подготовленностью испытуемого к его выполнению.
Рассмотрим множество из N испытуемых, которые должны ответить на К тестовых заданий, а ij – успешность выполнения i - задания j - испытуемым. Пусть ij = 1, если задание решено правильно, и ij = 0 - в противоположном случае.
Будем считать, что состояние нашей системы определено, если полностью определена матрица Â, т.е. определены значения всех ее элементов - ij . (Уточним, различные сочетания значений элементов матрицы ij соответствуют разным состояниям системы).
Теперь введем следующие усредненные характеристики системы:
nj = bj/K = (1/K)[Σi=1K ij] (2);
mi = ci/N = (1/N)[Σj=1N ij] (3);
Где (2) – средняя успешность выполнения всех К заданий j –м испытуемым, а (3) – средняя успешность выполнения i - го задания всеми (N) испытуемыми, а bj - первичный балл j - го участника тестирования, ci - первичный балл i - задания, соответственно (см. [4, C. 19]).
bj = Σi=1K ij (4);
ci = Σj=1N ij (5);
Найдем количество состояний системы (количество различных вариантов распределений единиц и нулей в матрице ij), соответствующее определенному значению первичного балла bj j - го испытуемого как число сочетаний из К по bj
СК bj = К!/ bj !(К - bj )!; (6),
а полное число состояний системы, с учетом изменений j от 1 до N, при условии их независимости*), равно:
ПN j=1 [К!/ bj !(К - bj )!]; (7)
Предполагая, что все состояния системы, представленные соотношением (7), равновероятны**) 1, определим, что энтропия системы S, как аддитивная функция неопределенности, пропорциональна:
Используя формулу Стирлинга, получим
S ~ ΣN j =1[KlnK – K – bj ln bj + bj – (K - bj )ln(K - bj ) + (K - bj )]; (9)
Выражение (9), выполняя простые преобразования, приводится к виду:
S ~ - Σj [Kln(1 - bj /K ) + bj ln(K/ bj - 1)] или, используя (2),
S ~ - KΣj [ln (1 – nj ) - nj ln(1 – nj ) + nj ln nj ]; (10)
Считая, что информация о системе равна ее энтропии с обратным знаком, найдем выражение для максимума информации Н (минимума энтропии) при условии постоянства некоторой величины Е, устанавливающей некоторую критериальную границу успешности выполнения заданий теста (например, определенную долю правильно выполненных заданий) вне зависимости от состава тестируемых. Такая характеристика теста либо устанавливается экспертами, либо определяется по результатам статистической обработки результатов тестирования.
В логике данной работы естественно связать Е со средней по числу заданий величиной данной характеристики теста, отнесенной к j - му испытуемому - Еj .
В свою очередь, логично предположить, что Ej пропорционально nj - средней успешности выполнения всех К заданий теста, т.е. Ej ~ εj nj = εjbj/K .
Тогда:
Е ~ КΣj N εj nj (11),
где εj - некоторая постоянная, характеризующая успешность j - го испытуемого.
Теперь, учитывая выражение (11) и используя метод неопределенных множителей Лагранжа, найдем условный максимум информации
d/dnj [-KΣj [ - nj ln nj – (1 – nj)ln(1 – nj) + j nj] = 0;
Из чего, после несложных вычислений, получаем:
nj = 1/(1 + exp{- j}); (12)
Связывая среднюю успешность выполнения всех К заданий j –м испытуемым – nj с вероятностью правильного ответа j - го испытуемого на задания теста nj ≈ pj, получим:
pj = const [1/(1 + exp{- j})]; (13).
pj - следуя логике его получения, можно трактовать как вероятность успешного выполнения j – м испытуемым всех заданий теста.
Если, следуя идее Раша, представить j = θj– δj, понимая под θj – подготовленность испытуемого к решению заданий теста, а под δj – трудность данных заданий, то, можно считать, что наша цель достигнута. Мы получили выражение для вероятности успешного выполнения заданий теста типа функции успеха Раша.
Постоянную в выражении (13) можно определить, исходя из понятных условий – при очень высоком уровне подготовленности испытуемого к выполнению тестовых заданий (θj → ∞) вероятность успешного решения pj (13) должна стремиться к единице. Действительно, при θj → ∞ j стремится к бесконечности, pj → const, следовательно, const = 1. Исходя из этого, (13) следует записать в виде
pj = 1/(1 + exp{- j}); (14)
Отметим, что при бесконечно возрастающей трудности задания δj → ∞ i, стремится к минус бесконечности, - pj стремится к нулю. При j = 0, θj = δj , pj = ½, как и показано в [4, С. 14].
Теперь обратим внимание на то, что (14) является суммарной вероятностью успешности выполнения всех К заданий теста и, следовательно, может быть представлена в виде суммы
pj = ∑Ki=1 1/(1 + exp{- ji}); (15)
Следуя прежней логике, ji нужно трактовать как разность между подготовленностью j - го испытуемого к выполнению i - го задания и трудностью для него этого задания.
Таким образом, мы вводим
pji = 1/(1 + exp{- ji}); (16)
как вероятность успешного выполнения j - м испытуемым i - го задания, где
ji = θj– δi, (17)
и, соответственно, θj – подготовленность испытуемого к решению i - го задания теста, а δi – трудность i -го задания.
Поскольку ji мы доопределяем сами, исходя из аналогии и здравого смысла, с точностью до постоянной, то можем представить ji = d(θj– δi ), переходя тем самым к двухпараметрической модели Бирнбаума.
Вернемся теперь к предположениям, использованным в основной части статьи, которые не были оговорены раньше, поскольку их обсуждение нарушило бы последовательность изложения основной идеи сообщения.
Прежде всего, все соотношения, приведенные в статье, начиная с (8) и далее до соотношения (13), приведены с точностью до постоянных, значения которых не существенны при нашем подходе.
*)Определение числа состояний системы (количество различных вариантов распределений единиц и нулей в матрице ij), соответствующее определенному значению первичного балла bj (выражения (6) и (7)), неявно предполагает независимость заданий, задач теста. Аналогичное предположение имеет место и в работах [3 -4].
**)В определении энтропии системы использовано предположение (гипотеза) о равновероятности состояний (равновероятности различных сочетаний значения элементов матрицы ij) при определенном, фиксированном значении первичных баллов испытуемого/испытуемых. Это условие не является более жестким, чем условия, приведенные в работах [3 -4], включая использование обобщенного биномиального распределения. В определенном смысле, такое предположение сродни эргодической гипотезе в статистической физике, утверждающей равновероятность состояний физической системы, обладающих одним и тем же значением энергии. В то же время, такое предположение не очевидно и, по сути, может существенно ограничивать содержание тестовых заданий.
Условие фиксированной успешности выполнения заданий теста - (11) является отражением значения успешности, устанавливаемой нормативно, или критериально - ориентированными тестами.
Переход от суммарной вероятности успешности выполнения всех К заданий теста (14) к вероятности успешного выполнения j - м испытуемым i - го задания (16) неоднозначен, не сводится к сумме и, в принципе, допускает учет корреляций между заданиями. К каким последствиям может привести учет таких корреляций и следует ли идти по такому пути – не ясно.
Наконец, представленный вывод функции успеха традиционно соответствует тестам, ориентированным на дифференциацию испытуемых по успешности выполнения ими задания. В централизованном тестировании, направленном на конкурсное зачисление в вузы по его результатам, такое направление абсолютно оправдано. В то же время существует реальная потребность в сравнительной оценке степени подготовленности выпускников различных учебных заведений, которая не предполагает дифференциации успешности отдельных выпускников. Такая оценка усредненной степени подготовленности выпускников (обучаемых) конкретных школ, колледжей, вузов важна в управлении как оценка качества функционирования и развития данных учебных заведений. Назовем такое оценивание мониторинговым2).
Представленный выше подход к получению функции успешности позволяет получить вид усредненного по испытуемым распределения вероятности успешности выполнения тестового задания – рi. Краткий вывод такой функции успеха представлен в приложении.
В заключение, считаю своим долгом выразить благодарность Ю. М. Нейману и А. И. Самыловскому за обсуждение и конструктивную критику представленных вариантов данной работы.
Литература
Приложение
Ориентируясь на мониторинговый вариант функции успеха, подсчитаем количество состояний системы (количество различных вариантов распределений единиц и нулей в матрице ij) при заданном значении первичного балла i – го задания - сi = Σj=1N ij; Эта величина определяется числом сочетаний из N по сi, т.е.
CNСi = N!/сi!(N – сi)! (1),
а полное число состояний системы с учетом изменений i от единицы до К равно
ПKi=1(CNсi), тогда ln[ПKi=1(CNсi)] = Σi=1Kln[N!/сi!(N – сi)!]; (2)
Используя формулу Стирлинга, и, выполняя несложные преобразования, получим выражение для степени неопределенности (энтропии) системы в виде:
-NΣi=1K [lnN + (сi/N)lnN(сi/N)+ln(1 – сi/N)N – ((сi/N)lnN(1 - сi/N); (3)
Считая, что информация о системе равна ее энтропии с обратным знаком, найдем выражение для максимума информации Н (минимума энтропии) при условии заданного значения успешности выполнения определенной доли заданий теста - N Σi=1K εi mi) (4).
Опуская дальнейшие обсуждения и вычисления, которые аналогичны приведенным в основном содержании статьи, запишем:
pi = const [1/(1 + exp{- i})]; (5).
Выражение (5) легко интерпретируется как вероятность усредненного по числу испытуемых успешного выполнения i – го задания теста.
Соколов В. М. Вывод функции успеха выполнения теста достижений из принципа максимальности информации //Вопросы тестирования в образовании. 2003, № 5, С. 136 – 143.
1 Необходимые разъяснения к предположениям *), **) будут даны в заключении. Обсуждение их сейчас, на наш взгляд, усложнило бы восприятие основного содержания работы.
2 )Близко по смыслу к определению предметно-ориентированныых тестов в работе [5, C.25].
PAGE 1