Современные информационные технологии в образовании

. Современные информационные технологии в образовании Курс лекций для слушателей ФПК ОГУ, 2005 г В.А. Красильникова Тема лекции 3: Компьютерное тестирование. Этапы и алгоритмы разработки заданий для компьютерного тестирования

Этапы составления тестовых заданий 1 этап – теоретической проработки задания; 2 этап – экспериментальной проверки, апробации 1 этап. Постановка тестового задания очень ответственный этап. Процедуру разработки тестового задания следует выполнять в соответствии с ранее рассмотренными принципами и требованиями, проведя: тщательный анализ формулировки задания по отношению к содержанию знания; выстраивание заданий в порядке предполагаемой трудности для облегчения выполнения следующего этапа экспериментального отбора тестовых заданий.

2 этап – экспериментальная проверка заданий. Целями апробации тестовых заданий являются: определение трудности задания и оценки пригодности, определение заданий, которые имеют существенные недостатки, определение временных параметров выполнения заданий, анализ норм тестовых заданий, выявление случайных ошибок и неточностей, недостатков в инструкции. По статистике специалистов до 50 % тестовых заданий, без экспериментальной проверки, не пригодны для определения уровня и структуры знаний.

Первоначальная «чистка» теста осуществляется в следующей последовательности: задания, выполненные всеми испытуемыми, исключаются из теста; задания, с которыми не справился ни один из испытуемых, также исключаются. В тесте остаются задания, с которыми справились один или несколько человек. задания одинаковой сложности варьируются в сторону их упрощения или усложнения, отбираются «несостоятельные» задания с целью выявления их некорректности ( например, легкие задания, с которыми не справился сильный студент исключаются или подлежат доработке).

Чем ближе трудность задания к 1,00 или к 0, тем меньшую информацию несет оно о дифференциации учащихся и студентов в учебных учреждениях. Чем ближе уровень трудности задания к 0,50, тем большими различительными возможностями она обладает. Трудность (сложность) является особенностью не только тестового задания, но и теста в целом. Тест может состоять как из простых субъектов, так и из сложных. В общем виде, трудность (сложность) может быть субъективно-статистической.

Постановка и типы контролирующих заданий Тип контролирующего (обучающего) алгоритма определяется: целями обучения; структурой материала; методикой преподавания; подготовленностью аудитории; фактором времени; дидактическими возможностями техники.

При подготовке компьютерных курсов контроля (обучения) проблема постановки обучающих заданий приобретает особенное значение и в первую очередь определяет эффективность обучения. Включение в контрольно-обучающие программы (КОП) обучающих заданий различного вида и различных алгоритмов выполнения позволяет обеспечить настройку обучения, реализуемого в КОП, на различный тип мыслительной деятельности обучающегося, что, безусловно, не может не отразиться на результативности обучения и, особенно, на начальном этапе формирования знаний. Рассмотрим некоторые типы обучающих заданий по принципу реализованного в них алгоритма действий, которые желательно применять при подготовке контрольно-обучающих курсов.

Типы алгоритмов контролирующих заданий 1 - последовательно-подготовительный алгоритм: Так обычно формируется итоговое обобщающее задание, которое имеет ряд возможностей и недостатков: - такое задание проще сформулировать; -   сразу можно проконтролировать больший объем материала; - с другой стороны, в таком алгоритме меньше эффективности, т.к. нет текущего контроля по темам и возможности корректирования ошибочных действий обучающихся.

2 - параллельно-подготовительный алгоритм: Кратко можно охарактеризовать представленный алгоритм следующим образом: -      возможность изучения независимых тем в произвольном порядке; -      представленные к изучению темы логически завершены и порядок их изучения может быть произволен; -      такой алгоритм постановки обучающих заданий пригоден для итогового контроля по блоку дисциплин или несвязанных тем.

3 - последовательно-корректирующий алгоритм: Постановка такого типа обучающих заданий является: -      более трудоемким процессом при подготовке обучающего материала; -  более эффективной для автоматизированной формы обучения (контроля), особенно при самостоятельной проработке материала, поскольку отслеживаются ошибочные действия обучающегося на каждом этапе работы. Следует обратить внимание, что выбору определенного алгоритма постановки обучающих заданий должен предшествовать этап структуризации курса или раздела курса, это достаточно сложно, но в значительной мере повышает эффективность изложения материала.

4 – параллельно-корректирующий алгоритм: В этом типе алгоритма соединены алгоритмы 2 и 3 типов.

Формы контролирующего задания 1 По определению считается, что тест – это утверждение, имеющее однозначный ответ. 2 Другой подход к форме теста менее жесткий и для постановки контролирующего задания можно использовать: задание-утверждение, задание-вопрос, задание-задачу. С нашей точки зрения, правомерны оба подхода, поскольку не всегда форма задания в виде утверждения упрощает, делает наглядным постановку задания и повышает степень его восприятия/понимания. Кроме того, с точки зрения обучающегося более привычным является задание-вопрос, задание-задача. Рассматривать будем все формы постановки задания, главное, что задание, поставленное для компьютерной среды, должно отвечать ряду требований (рассмотрены ранее) и, в первую очередь, – однозначности восприятия, а это, в свою очередь, влечет за собой другие характеристики задания для работы в автоматизированной среде: четкость, полнота постановки, непротиворечивость и другие характеристики этой наиболее важной в обучении дидактической единицы. Для обучения удобнее ставить задания в форме вопроса.

Контролирующее задание-утверждение Форма задания-утверждение состоит из двух частей: основной повествовательной части и совокупности предполагаемых ответов. Пример, наиболее типичной постановки задания в форме утверждения: Средневековый Университет в случае своего несогласия с городскими правилами … - изменял свой устав - закрывался - переезжал в другой город - изменял устав города - переизбирал ректора и деканов - переформировался

Контролирующее задание – вопрос На рисунке представлена несложная классификация типов вопросов, которые рекомендуется представлять в режиме компьютерного обучения.

Типы алгоритмов задания-вопрос 1 – аналитический алгоритм: Суть алгоритма: поставить в соответствие вопросу номер правильного ответа (или написать – правильного ответа нет). Обращаем внимание на то, что количество вопросов в этом алгоритме может быть как равно количеству ответов, так и меньше.

2 – алгоритм соответствия: Суть алгоритма: поставить в соответствие каждому вопросу один ответ.

3 – алгоритм упорядочения: Суть алгоритма: определить правильный порядок выполнения действий. Обучение с помощью предметного алгоритма один из путей достижения необходимого уровня подготовленности специалиста и это далеко не всегда приводит к шаблону мышления, а скорее прививает правильный и рациональный подход к выполнению определенной работы. Вряд ли кто-либо станет отрицать, что выполнение большинства математических расчетов выполняются по определенным алгоритмам и это отнюдь не приводит к шаблону мышления, о котором так много говорят противники автоматизированного метода обучения. Вопрос скорее нужно поставить в такой плоскости: насколько корректен и рационален предложенный алгоритм действий? Нам представляется особенно важным именно на начальных этапах выполнения действий показать правильный порядок выполнения отдельных операций.

4 – алгоритм отбора/исключения: Суть алгоритма: указать необходимые действия и порядок их следования, или наоборот исключить нежелательные и лишние операции. Дана ситуация, дан алгоритм достижения цели, показан порядок действий или просто перечень необходимых действий, возможно и лишних или противопоказанных действий. Способ постановки обучающих заданий на исключение ненужных или вредных действий очень эффективен, поскольку позволяет в подсказке (или других типов пояснений) раскрыть суть неправильных действий (раскрыть и локализовать ошибки) и их последствия. Для повышения эффективности обучения в заключение такого типа обучающих заданий необходимо указать упорядоченную наиболее эффективную или просто рациональную последовательность действий для достижения цели.

5 – алгоритм дополнения: Суть алгоритма: дополнение недостающих действий или пропущенных слов. 6 – алгоритм ассоциации: Суть алгоритма: соотнесение описанного действия, представленного схемой, рисунком с проблемной ситуацией. Этот алгоритм можно сделать внешне очень эффектным, но малоэффективным, по нашему мнению и опыту постановки в различных обучающих заданиях для автоматизированной среды обучения «ИСТОК», поскольку у каждого обучающегося могут возникнуть свои ассоциации увиденного.

7 – алгоритм вычислительного характера: Суть алгоритма понятен без дополнительных объяснений. Но на этом типе вопросов в нашем опыте также обнаружены особенности постановки таких вопросов, особенно на первых этапах работы, суть которых можно свести к понятию целочисленные и нецелочисленные расчеты. 8 – алгоритм ситуативный: Суть алгоритма: ставится проблема, возможна комбинированная с другими областями, необходимо предложить конкретное решение. Это очень интересный тип обучающих заданий, где требуется широкая эрудиция преподавателя и не только в той предметной области, для которой строится система контроля. Этот тип обучающих заданий имеет смысл, с нашей точки зрения предлагать для группового ролевого контроля.

9 – алгоритм моделирующий: Суть алгоритма: используя интерактивный, программный продукт определенной предметной среды построить модель заданного процесса или ситуации. Этот тип обучающего задания становится доступен на современном уровне развития компьютерных технологий обучения, поскольку для его реализации необходимы интерактивное погружение в среду и повышенные требования к технике. В настоящий период созданы программы, моделирующие различные динамические процессы, позволяющие управлять ими на уровне изменения параметров смоделированных лабораторных стендов. Но эти программы достаточны дороги, ранее были, практически, малодоступны.

10 - алгоритм игровой: Суть алгоритма: напоминает алгоритм моделирующий, но более регламентирован той программной средой, специально разработанной для ведения ролевых игр, широко распространен в коммерческом игровом бизнесе, для учебных целей имеет большой интерес. 11 – алгоритм комплексный сочетание в различных комбинациях ранее рассмотренные алгоритмы.

Основными формами обучающих заданий являются упражнения и вопросы. Упражнения представляют собой активизирующую часть обучающего материала – побуждают к действию, пробуждают интерес к учебе. Упражнения должны иметь практическую значимость. Преподаватель не должен «сбиваться» на придумывание упражнений ради упражнений, хитроумных загадок и головоломок. Упражнения предполагают формирование определенных умений применения теории. Упражнения можно классифицировать по характеру взаимодействия с изучаемым материалом.

Правила составления контрольного компьютерного задания Содержание контрольного задания (КЗ) должно быть ориентировано на проверку значимых понятий и элементов содержания предмета контроля и получение от тестируемого однозначного заключения. Основные термины контрольного задания должны быть явно и ясно определены. Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов. Тестовые задания могут быть сформулированы в виде кратких суждений, четко поставленных вопросов, и конкретных задач. Следует избегать контрольных заданий, которые требуют от испытуемых развернутых заключений при выполнении контрольных заданий. При конструировании контрольных заданий можно применять различные формы их представления, а также графические и мультимедийные компоненты не только с целью рационального предъявления содержания учебного материала, но и при постановке контрольного задания, требующего графическую форму ответа.

Количество слов в контрольном задании должно быть разумно минимальным, если при этом не искажается понятийная структура постановки задания. Главным считается ясное и явное отражение содержания фрагмента предметной области. Но лучше воспользоваться ТЕЗИСОМ - Лучше «длинный» вопрос и «короткие» ответы, чем наоборот. Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний. Не следует при подготовке тестовых заданий использовать задания составного характера, при ответе на которое правильность выполнения одного задания зависела бы от правильности выполнения другого задания этого же субтеста. В тексте контрольного задания не должно быть непреднамеренных подсказок и сленга. Недопустимы заключения типа: все выше перечисленное верно, все указанные ответы неверны и т.д. В задании не использовать слова , которые понимаются у различных людей по разному: иногда, часто, всегда, иногда, все, никогда и т.п. продолжение

продолжение В заданиях не должна использоваться терминология, выходящая за рамки учебной дисциплины. Ни в тексте, ни в ответах не должно быть подсказок. В контрольном задании не должно отображаться субъективное мнение или понимание отдельного автора по изучаемому материалу. В заданиях не должно быть заключений, вариантов ответов: заведомо ложных содержащих подсказку явно выделяющихся, обособленных. Задание должно быть составлено с учетом того, что среднее время формирования заключения тестируемого со средним уровнем обученности не должна превышать 2-3 х минут (определяется эмпирически при прогонке задания). Среднее время ответа студента на контрольное задание определяется установкой преподавателя – автора контрольного задания.

18. По количеству контролирующих заданий можно осветить следующим тезисом «Как можно больше тестов хороших и разных». По сути для начала нормальной работы необходимо не менее 200-300 заданий по конкретному предмету. 19. При постановке задания нужно учитывать, что все задание должно размещаться на экране без прокрутки. 20.При конструировании задания не следует оценивать регистрозависимость символов в ответе. Формы контрольных компьютерных заданий могут быть: а) открытого типа – дополнение недостающих ключевых слов; вычислительного характера; б) закрытого типа: на упорядочение; на соответствие; на классификацию; на исключение; в) на конструирование ответа, фраз, моделей из готовых фрагментов; г) графического типа продолжение

Элементы тестового задания могут содержать текст, формулы, графические изображения, мультимедийные компоненты. Аудио компоненты и видеофрагменты при визуализации тестового задания должны представляться в виде условного общепринятого и понятного тестируемому графического символа и активизироваться тестируемым (например, щелчком мыши). Количество активаций аудио и видеофрагментов может быть ограничено. На сайте подготовки единого государственного экзамена в компьютерной форме («Центр гуманитарных технологий» под руководством Шмелева представлен очень минтересный и разнообразный материал для тестирования школьников и абитуриентов. Адрес сайта http://www.ege.ru/ Адрес сайта Центра профессионального тестирования http://www.ast-centre.ru