Рисунок 2: Отношение студентов к различным свойствам QuizPACK
Надежность этого оценивания может быть также проверена последовательностью ответов на схожие вопросы. Так, например, студенты были опрошены согласны они или нет со следующим утверждением: "Я посоветую моему другу, если он будет в этом классе, использовать QuizPACK". Следующие данные были получены: 79.97% студентов "полностью поддерживают" данное утверждение, 12.9% "поддерживают" его, 16.13% "не имеют определенного мнения" на этот счет. Ни один из студентов не ответил, что он/она "не согласны" или "полностью не согласны" с этим утверждением. Как мы можем видеть, эти данные очень близки к данным, отражающим общее отношение студентов к системе. Этот факт может косвенно подтверждать валидность субъективного оценивания системы студентами.
Два следующих вопроса выясняли, что студенты думают по поводу использования QuizPACK, как источника для еженедельного внутриклассного тестирования. 67.74% студентов полагают, что "это очень правильная мера", 25.81% считают, что это "правильно", 6.45% ответили, "это имеет некоторый смысл, но отнюдь не идеально". Ни один из студентов не посчитал , что "это совершенно неправильная мера". Относительно использования QuizPACK как средства для подготовки к тестированию в классе, 58.06% думают, что QuizPACK "сильно помог", 32.26% сказали, что он "помог", 9.68%, что он "немного помог", ни одного ответ "не помог" не было получено.
Работа с QuizPACK поощряла студентов к более активному использованию таких средств программирования как "отладчик". Более 51% студентов ответили, что они "использовали отладчик чтобы обнаружить где они ошиблись, давая неправильный ответ", "почти всегда" или "часто", 35.48% сказали, что они использовали его "иногда" и только 12.9% ответили, что они не использовали отладчик при работе с QuizPACK.
В дополнение к общему анализу мы попытались сравнить отношение к системе для разных групп студентов. На данный момент мы завершили сравнение ответов для групп, выделенных по половому признаку, и получили довольно интересные результаты. На рисунке 3 изображены профили ответов, данные студентами и студентками. Мы подсчитали средние значения для ответов на вопросы, оценивающие основные свойства системы, и выразили их в процентах. 100% означает что все студенты в этой группе дали ответ "очень хорошо". Заметно, что график обозначающий ответы женщин проходит выше "мужского" графика для всех вопросов. Разница достаточно существенна и для некоторых вопросов составляет 10%. В частности, график показывает, что все студенты в женской группе выразили стопроцентно-положительное отношение к системе в целом и к ее способности генерировать параметризуемые вопросы. Этот факт не обусловлен тем, что студентки больше/меньше работали с системой или были более/менее успешны. Данные говорят об обратном: среднее количество вопросов, на которые пытались ответить студенты в течение семестра – 187 для женщин и 178 для мужчин. Разница между средним значением успешности – практически нулевая (37.12% правильных ответов для женщин и 37.26% -для мужчин). Возможной объяснением может быть предположение, что исключительно положительное отношение студенток к системе отражает тот факт, что в течение курса QuizPACK был действительно важным средством обучения для них. Важно и то, что в нашем курсе женщины, традиционно показывающие менее высокие результаты по техническим предметам, нежели мужчины, в итоге получили более высокую среднюю итоговую оценку. Интересно также и то, что даже студентки, получившие в итоге "3", "4-" или ниже, тем не менее высказали свое одобрение системы.
Рисунок 3: Профили ответов для студентов и студенток
Заключение
Мы доложили результаты исследования, в котором была сделана попытка оценить роль параметризуемых тестов как средства обучения в контексте курса программирования. Эксперимент показал, что успешность работы студентов с рассматриваемой системой коррелирует с оценкой на экзамене. В то же время объем работы студентов с параметризуемыми тестами статистически-значимо предсказывает прирост знаний в течение курса. Система QuizPACK, с помощью которой студенты проходили тестирование, была ими оценена очень высоко. Наиболее высокую оценку получила возможность системы генерировать параметризуемые вопросы со случайным числовым параметром. Женщины оценивали различные свойства QuizPACK более позитивно чем мужчины. На некоторых вопросов 100% студенток дали самые положительные ответы. Эти результаты свидетельствуют о том, что системы, администрирующие параметризуемые тесты, такие как QuizPACK могут служить исключительным средством обучения в контексте курсов программирования. Очевидно, также, что QuizPACK был особенно полезен для женщин, обычно имеющих более низкую успеваемость в курсах программирования, чем мужчины. Мы планируем провести более подробный анализ с тем чтоб установить, для каких групп студентов QuizPACK наиболее полезен.
10-09-2015, 03:06