Natalie K. Person, Arthur S. Graesser,Roger J. Kreuz, Victoria Pomeroy и группа исследования преподавания
Цель этой работы заключается в том, чтобы показать, как преобладающие особенности успешного взаимодействия человека- преподавателя могут быть интегрированы в педагогическом агенте – AutoTutor. AutoTutor – это полностью автоматизированная обучающая система, которая моделирует шаги диалога квалифицированного преподавателя в ответ на вводимые обучаемым исходные данные. В основе процесса моделирования лежит пяти-шаговая структура, редко используемая обычными преподавателями. Мы оценивали AutoTutor как эффективную обучающую систему и как собеседника во время занятий с виртуальными студентами различного уровня способностей. По результатам оценок трех циклов занятий было выявлено следующее: (1) AutoTutor приспособлен к эффективному с педагогической точки зрения диалогу, имитирующему шаги диалога преподавателя; (2) AutoTutor – достаточно эффективный собеседник.
Введение
За последнее десятилетие появилось несколько исследований, в которых была сделана попытка раскрыть механизм преподавания, отвечающий за приобретение студентами знании. В научных работах приводилось много данных по анализу совместных диалогов (collaborative discourse), возникающих на лекциях между студентами и преподавателями (Fox, 1993; Graesser & Person, 1994; Graesser, Person & Magliano, 1995; Hume, Michael, Rovick & Evens,1996; McArthur, Stasz, & Zmuidzinas, 1990; Merrill, Reiser, Ranney, & Trafton, 1992; Moore, 1995; Graesser & Person, 1999; Person, Graesser, Magliano & Kreuz, 1994; Person, Kreuz, Zwaan & Graesser, 1995; Putnam, 1987).
Например, мы узнали, что занятия в основном контролируются преподавателем, т.е. преподаватели, а не студенты, обычно определяют, когда и какие темы будут охвачены на занятии. Кроме того, мы знаем, что преподаватели редко используют в работе сложные или “идеальные” модели преподавания, которые часто включаются в состав интеллектуальных обучающих систем. Взамен преподаватели больше любят полагаться на локальные стратегии, которые возникают при общении. Хотя многие обнаруженные факты, как, например, эти, делают процесс преподавания ярче, они представляют значительную проблему для создателей интеллектуальных обучающих систем. В конце концов, создание умного собеседника – немалый подвиг. Однако если авторы будущих обучающих систем пожелают систематизировать знания, полученные при изучении преподавания, следующее поколение обучающих систем будет включать в себя педагогических агентов, которые займутся обучающим диалогом. Цель этой статьи двойная. Во-первых, мы хотим показать, как основные черты квалифицированного преподавания могут быть включены в обучающую систему – AutoTutor. Во-вторых, мы предоставим данные нескольких предварительных испытаний оценок качества, в ходе которых AutoTutor взаимодействует с виртуальными студентами с различным уровнем способностей.
AutoTutor – это полностью автоматизированная обучающая система, которая была разработана группой исследования преподавания. AutoTutor – это действующая система, которая делает попытку понять обычный студенческий язык, а затем сообщить студенту исходные данные путем моделирования живого диалога преподавателя. AutoTutor отличается от остальных систем, общающихся на естественном языке по многим признакам. Во-первых, AutoTutor не ограничивает вводимые на обычном языке данные студента, как остальные обучающие системы (например, Adele (Shaw, Johnson & Ganeshan, 1999); Ymir agenta (Cassell & Thorisson, 1999); Cirscim-Tutor (Hume, Michael, Rovick & Evens, 1996; Zhou et al, 1999); Atlas (Freedman, 1999); and Basic Electricity and Electronics (Moore, 1995; Rose, Di Eugenio & Moore,1999)). Эти системы стремятся ограничивать студента при вводе данных небольшим набором реплик. Во-вторых, AutoTutor не позволяет пользователю подменять естественный язык выбором опций меню графического интерфейса пользователя, как в обучающих системах Atlas и Adele. Третье отличие заключается в открытой природе предметной области, с которой работает AutoTutor (напр. компьютерная грамотность). Системы, указанные нами ранее, по своей природе относительно более закрыты и, следовательно, ограничивают вклад студента при общении с системой.
Текущая версия AutoTutor моделирует обучающий диалог обычных, неподготовленных преподавателей; тем не менее, проект следующих версии включает интеграцию более сложных идеальных стратегий преподавания. Данная версия AutoTutor создана, чтобы помогать студентам колледжа изучать темы, относящиеся ко вводному курсу компьютерной грамотности. На типичном занятии с AutoTutor студенты будут изучать основы технического обеспечения, операционных систем и Internet.
Краткое описание AutoTutor
AutoTutor – это анимированный педагогический агент, который может служить собеседником в разговоре со студентом. Структура AutoTutor включает в себя четыре особенности: двумерную говорящую голову, текстовое окно для ввода данных, текстовое окно, где демонстрируются проблема или вопрос, находящиеся в обсуждении и графическое окно, где демонстрируется анимация, имеющая отношение к данной теме. AutoTutor начинает занятия со знакомства с собой, а затем представляет студенту тему или проблему, которая выбрана из лекций, входящих в учебный план. Вопрос/проблема остаются в текстовом окне в верхней части экрана, пока AutoTutor не перейдет к следующей теме. В некоторых случаях бывают необходимы графика и анимация, которые появляются в специально предназначенном окне. После того, как AutoTutor познакомил студента с проблемой или вопросом, начинается многошаговый обучающий диалог. Все реплики студента набираются на клавиатуре и появляются в текстовом окне в нижней части экрана. AutoTutor отвечает на каждую реплику студента одной или несколькими шагами диалога, подходящими с педагогической точки зрения. Эти фразы не появляются на экране, а передаются через синтезированную речь, подходящую интонацию, выражение лица и жесты. В будущем мы надеемся создать блок распознавания речи, управляемый AutoTutor, и студенты смогут говорить свои реплики.
Однако существующий речевой распознаватель требует расхода времени, что не подходит для работы систем, которые взаимодействуют со множеством пользователей.
Различные модули, которые дают AutoTutor возможность взаимодействовать с обучающимися, будут описаны в следующих разделах статьи. Сейчас, тем не менее, важно заметить, что наша первоначальная задача по созданию AutoTutor была успешно выполнена. Т.е. мы создали обучающую систему, которая беседует с обучаемым, воспроизводя диалог с обычным преподавателем.
Зачем имитировать обычного преподавателя?
Хорошо известно, что обычные, специально нетренированные преподаватели достаточно эффективны. В научных работах, в которых измерялись приобретенные знания обучаемых студентов сообщалось, что размеры эффекта колеблются между 0,5 и 2,3. (Bloom, 1984; Cohen, Kulik & Kulik, 1982). Какое-то время это сбивало с толку, т.к. обычные преподаватели не были экспертами в области знаний и не обладали знаниями о сложных стратегиях преподавания. Для того чтобы получить более хорошее представление об основных механизмах получения студентами знаний, небольшая группа ученых систематически анализировала диалоги, возникающие между студентами и обычными неподготовленными преподавателями (Graesser & Person, 1994; Graesser et al, 1995; Person & Graesser, 1999; Person et al, 1994; Person et al, 1995) Graesser, Person и др. проанализировали свыше 100 часов учебных взаимодействий и выделили 2 заметные особенности учебных диалогов людей-преподавателей: (1) пяти шаговая структура диалога, уникальная для преподавательских взаимодействий, (2) серия диалогов, инициированных преподавателем, которые обслуживали специфические педагогические функции. Мы полагаем, что эти две особенности отвечают за позитивные результаты обучения, которые появляются в типичной обучающей обстановке, а также, эти особенности легче воплотить в обучающей системе, чем сложные методы и стратегии, которые поддерживаются остальными педагогическими исследователями и создателями интеллектуальных обучающих систем.
Пятишаговая структура диалога
Структура диалогов преподавателей отличается от обучающих диалогов, которые часто возникают в классах. Mehan (1979) и др. сообщали о трех шаговой структуре последних. На эту структуру часто ссылаются как на НОО, что означает: Начало (вопрос или утверждение, сформулированное учителем), Ответ (ответ или комментарии студента) и Оценка (учитель оценивает ответ студента). В преподавании, тем не менее, диалог построен по пяти-шаговой системе (Graesser & Person,1994; Graesser et al.,1995). Эта структура представлена ниже.
Шаг 1:Преподаватель задаёт вопрос или ставит проблему.
Шаг 2:Обучаемый отвечает на вопрос или начинает решать проблему.
Шаг 3: Преподаватель дает немедленную короткую обратную связь по качеству ответа (или решения).
Шаг 4:Преподаватель и обучаемый совместно улучшают качество ответа.
Шаг 5:Преподаватель оценивает понимание обучаемым вопроса.
Данная пяти-шаговая структура в преподавании является существенным увеличением трех шаговой структуры диалога в классе. Мы думаем, что преимущество преподавания над обучением в классе лежит, в основном, в четвёртом шаге. Обычно шаг 4 – это растянутый диалог из нескольких реплик, в котором преподаватель и студент совместно ищут объяснение, которое отвечает на вопрос или решает проблему.
На макро уровне диалог между AutoTutor и обучаемым согласован с шагами 1-4. В пяти-шаговой структуре. Для примера, в начале каждой новой темы AutoTutor ставит перед обучаемым проблему или вопрос (шаг 1). Затем обучаемый пытается решить проблему или ответить на вопрос (шаг 2). Затем AutoTutor даёт оценочную обратную связь (шаг 3) . Во время Шага 4 AutoTutor использует различные варианты шагов диалога (см. следующий раздел), которые поощряют участие обучаемого. Таким образом, вместо существующих систем передачи информации, которые бомбардируют обучаемого большим объёмом информации, AutoTutor – это прототип лекций, при котором сделана попытка позволить обучаемому говорить о его знаниях. С педагогической точки зрения, Шаг 4 стимулирует активное обучение студента. Другие исследователи так же предполагали, что процесс конструирующих объяснений, уточнений и мысленных моделей материала крайне необходим для обучения и обычно более эффективен, чем простое предоставление информации обучаемому (Chi, Bassok, Lewis, Reinmann & Glaser, 1989; Chi et al., 1994; Moore, 1995; Pressley, Wood, Woloshin, Martin, King & Menk, 1992; Webb et al.,1996).
Решение исключить шаг 5 из структуры AutoTutor было основано на опыте. На этом шаге преподаватели обычно задают общие, проверяющие понимание вопросы (напр.: «Вы поняли?»). Исследования в прошлом показали, что на эти вопросы студенты стремятся ответить парадоксально, например «хорошие» студенты чаще отвечают: «нет, я не понял», чем неуспевающие (Chi et al., 1989;Person et al., 1994). Так как ответы студентов на эти вопросы часто не заслуживают доверия, мы не решились включать шаг 5 в диалоговую структуру AutoTutor.
Диалог обычного преподавателя-человека
В нашем анализе диалогов преподавателей мы обнаружили, что обычные преподаватели редко используют сложные стратегии преподавания, которые предлагались исследователями образования и разработчиками интеллектуальных обучающих систем. Эти стратегии включают метод Сократа (Collins,1985; Collins,Brown & Newman, 1989), взаимный тренинг (Palincsar & Brown, 1984), обнаружение и исправление ошибок (Anderson, Corbett, Koedinger & Pelletier, 1995; Van Lehn, 1990; Lesgold et al., 1992), закреплённое обучение (Bransford, Goldman & Vue, 1991), создание предпосылок (Gagne, 1977) и усложнённая техника мотивации (Lepper, Asprinwall, Mumme & Chabay, 1990). Несмотря на подробный анализ, выполненный на примерах этих усложнённых стратегий преподавания (Fox, 1993; Hume et al., 1996; McArthur et al., 1990; Merrill et al., 1992; Putnam, 1987), подобные стратегии часто отсутствовали в неподготовленных занятиях преподавателей, которые мы анализировали. Для детального описания того, как анализировались эти обучающие воздействия, см. (Graesser & Person, 1994; Grasser et al., 1995; Person & Graesser, 1999; Person et al; 1994)
Мы обнаружили, что обычные преподаватели предпочитают шаги диалога, который тщательно спроектирован с учетом предыдущей реплики студента. Точнее, преподователи предпочитают шаги диалога, позволяющего учитывать количество и качество предыдущих реплик студента. Ниже представленны категории шагов диалога преподователей, которые мы идентифицировали во время занятий.
Положительная немедленная (непосредственная) обратная связь: «Правильно», «Да».
Нейтральная непосредственная обратная связь «Окей», «угу»;
Отрицательная немедленная обратная связь «Не совсем так», «Нет»;
Стимулирование информационных высказываний «Угу», «что еще»;
Побуждение к воспроизведению специальной информации «основная память процессора это ROM и ______»;
Намекание: «Жесткий диск можно использовать для запоминания» или «Что вы можете сказать о жестком диске?»;
Выяснение деталей «CD ROM – еще один способ запоминания информации»;
Выяснение и исправление ошибки. Содержится в высказываниях, сделанных после ошибки студента;
Поведение итогов. «Итак, суммируя» (сжатый пересказ ответа на вопрос).
Как и преподователи, AutoTutor использует одну или несколько из этих категорий после каждой реплики студента. Условия, при которых воспроизводится эти категории, будут обсуждатся в разделе о воспроизведении диалогов.
Структура AutoTutor
AutoTutor – это сплав классических символических структур (например, представления утверждения, концептуальных структур и выбранных правил) и структур, которые имеют многочисленные нечеткие ограничения (например нейросистема, нечеткие продукционные системы). Главные модули AutoTutor включают в себя анимационного агента, учебный план, языковой анализатор, латентный семантический анализ (ЛСА) и генератор шагов диалога. Все модули, кроме одного, были широко описаны в ранних публикациях (см. Foltz, 1996; Graesser, Franclin, Wiemer–Hastings, & the TRG, 1998; Graesser, Wiemer–Hastings, Wiemer–Hastings, Harter, Person & the TRG впечати; Hu, Graesser& the TRG, 1998; Wiemer – Hastings, Graesser Harter,& the TRG, 1998). Исключение составляет генератор шагов диалога. Подробное его описание будет дано после краткого описания остальных модулей.
Главные модули AutoTutor
Анимированный агент
Графическое воплощение AutoTutor было создано в Microsoft Agent. Это двумерное воплащение преподователя, сидящего за столом в течение всего занятия (мы находимся в процессе интеграци трехмерного изображения). AutoTutor общается с обучаемым посредством синтезированной речи, мимики и элементарных направленных жестов. Каждый из этих коммуникационных параметров можно установить на максимизацию общей эффективности AutoTutorа как преподователя и собеседника. Несмотря на то, что об этом можно говорить еще долго, эти механизмы были описаны в других работах (см. McCauley, Gholson, Hu, Graesser and the TRG, 1998; Person, Klettke, Link, Kreuz & the TRG 1999) и находятся вне рамок этой статьи.
Учебный план
Занятие с AutoTutorом проводятся по учебному плану. Учебные планы – это тщательно очерченые свободно структурованные планы занятий, включающие важные концепции, вопросы, факты и проблемы, которые учителя и преподаватели хотят детально осветить на занятии (Graesser & Person, 1994; Graesser et al 1995; McArthur et al. 1990; Putnam, 1987). Учебный план AutoTutor включает 37 вопросов или проблем по компьютерной грамотности: один вводный вопрос (например: «Из каких частей состоит компьютер и где его используют?»), который позволяет студенту привыкнуть к синтезированному голосу, и 36 тематически связанных вопросов/проблем. Учебный план AutoTutorа на данный момент содержит информацию по трем макротемам: комплектующие, операционные системы и Internet. Структура информации по этим темам анологична используемой в курсе компьютерной грамматности и учебнике (Beekman, 1997).
Каждая из 3 макротем содержит 12 тем (всего 36). Эти 36 тем содержат дидактические описания, вопросы, поставленные преподавателем, факты, иллюстрации, диаграммы (вместе с ожидаемыми хорошими и плохими ответами на каждый вопрос/проблему). Каждая из трех макротем имеет 3 уровня сложности и 4 тематических формата. Три уровня сложности (легкий, средний, трудный) наносятся на таксономию когнитивных трудностей и трудности вопросов (Bloom, 1956; Graesser&Person, 1994; Wakefield, 1996). 4 тематических формата представляют собой: (1) Вопрос на серьезное рассуждение; (2) Дидактическая информация + вопрос; (3) Графический дисплей + Вопрос; (4) Проблема + Вопрос.
Учебный план также включает 36 идеальных ответов, которые соответствуют каждой из 36 тем. Идеальный ответ состоит из набора N хороших ответов или аспектов {A1 ,A2 ,….,AN }, которые были определены экспертами в области компьютерной грамотности, число аспектов для каждой темы колеблется от 3 до 9. Прежде чем AutoTutor перейдет к следеующей теме, он должен охватить на занятии все аспекты по данной теме. Качество ответов/реплик обучаемого определяется соответсвием их каждому аспекту и всем возможным комбинациям аспектов в отдельном идеальном ответе. Подобные операции структурного(системного) соответствия выполняет ЛСА (см. следующий раздел).
Дополнительная информация, содержащаяся в учебном планне, включает: (1) ожидаемые плохие ответы для каждой из 36 тем; (2) корректирующие высказывания (напр. хорошие ответы) для каждого из ожидаемых неправильных ответов и (3) многочисленные шаги диалогов (оценки, намеки, подсказки, быстрые отклики и подведение итогов), которые связаны с аспектами идеальных ответов. Надо отметить, что все содержание учебного плана написано на английском языке, в противоположность компьютерному коду. Таким образом, учитель или другой человек, не являющийся опытным программистом, может легко создать учебный план.
Языковые анализаторы
AutoTutor содержит несколько языковых анализаторов, оперирующих словами, которые обучаемый набирает на клавиатуре во время беседы. Анализаторы включают: (1) блок словарной и пунктуационной сегментации; (2) блок идентификации семантических классов и (3) блок классификации разговорных актов. После того, как обучаемый составит фразу и нажмет “ввод”, фраза разбивается на отдельные слова и знаки препинания. Затем идентификатор семантических классов классифицирует каждое слово по большому словарю (около 10 000 слов) и идентифицирует все возможные синтаксические классы и частоту использования слова в английском языке. Например, слово “program” в английском языке является существительным, прилагательным и глаголом. Нейросистема затем определяет верный синтаксический класс слова (W) принимая во внимание синтаксические классы предшествующего (W-1) и последующего (W+1) слова. AutoTutor способен разделять вводимые обучаемым данные на последовательность слов и знаков препинания с точностью 99%, находить нужное семантические классы с точностью 97% и присваивать слову верный семантический класс основываясь на конспекте с точностью 93% (Olde, Hoeffiner, Chipman, Graesser & TRG, 1999)
Классификатор речевых выражений – это нейросеть, которая делит и классифицирует входные данные обучаемого по пяти категориям речевых выражений. Это Утверждение, Расширенный вопрос, Вопрос «да/нет», Указание и Короткий ответ. На данный момент AutoTutor верно классифицирует 89% речевых выражений. В данной версии ЛСА наиболее уместны Утверждения. Т.е. ЛСА используется для оценки качества реплик обучаемого, однажды присвоив ему категорию утверждения. От качества, оцененного ЛСА, зависит тип обратной связи и шага диалога, который AutoTutor будет генерировать после. Для остальных категорий (Расширенный вопрос, Вопрос «да/нет», Указание и Короткий Ответ) AutoTutor использует различные стратегии. Эти стратегии, необходимые для однородности диалога со смешанной инициативной, не будут представлены в этой статье.
Латентный семантический анализ (ЛСА)
Знания системы AutoTutor о компьютерной
10-09-2015, 03:06