Цикл 3
В третьем цикле оценок были использованы все 7 виртуальных студентов. Две пары экспертов оценивали ПЭ и РС для каждого шага диалога AutoTutor (всего 2283) для 7 копий преподавателя. Результаты представлены в таблицах 1 и 2. Средние значения были не очень обнадеживающими, т.к. значения РС уменьшились, а значения ПС остались приблизительно равными. Тем не менее, результаты оказались много обещающими, когда были сосчитаны средние значения для разных виртуальных студентов. Например, AutoTutor показал существенное улучшение своих характеристик в цикле 3 по сравнению с циклом 1 при работе с хорошим многословным и хорошим кратким студентами. В большинстве остальных случаев улучшение было незначительным.
Тот факт, что сделанные в AutoTutor после цикла 2 изменения не привели к повышению оценок качества ПЭ и РС, можно объяснить по–разному. Тем не менее, мы предполагаем, что главная проблема заключается в виртуальных студентах. Анекдотические отчеты экспертов показывали, что они были более расстроены Утверждениями виртуальных студентов, чем генерацией AutoTutor живых диалогов. Вспомним, что Утверждения для каждого из виртуальных студентов (исключая хорошего краткого) были предоставлены различными студентами, записавшимися на курс компьютерной грамотности. Следовательно, они часто были либо слишком многословными, либо слишком краткими.
Таблица 1.
Значения оценок педагогической эффективности.
| Тип виртуального студента | Цикл 1 | Цикл 2 | Цикл 3 | ||||||
| M | SD | n | M | SD | n | M | SD | n | |
| Хороший многословный | 4,52 | 1,41 | 210 | 2,52 | 1,49 | 36 | |||
| Хороший краткий | 4,63 | 1,42 | 283 | 3,55 | 1,78 | 36 | |||
| Средний | 4,12 | 1,52 | 338 | 3,90 | 1,65 | 36 | |||
| Ошибочный | 3,30 | 1,59 | 301 | 3,53 | 1,69 | 36 | |||
| Молчаливый | 3,75 | 1,47 | 592 | 3,63 | 1,62 | 36 | |||
| Хороший разборчивый | 5,26 | 1,26 | 286 | 4,40 | 1,64 | 307 | |||
| Монте-Карло | 4,03 | 1,77 | 273 | 4,09 | 1,67 | 298 | |||
| среднее | 4,23 | 1,47 | 2283 | 4,25 | 1,66 | 605 | 3,46 | 1,66 | 180 |
Таблица 2.
Значения оценок разговорного соответствия.
| Тип виртуального студента | Цикл 1 | Цикл 2 | Цикл 3 | ||||||
| M | SD | n | M | SD | n | M | SD | n | |
| Хороший многословный | 4,77 | 1,52 | 210 | 2,59 | 1,24 | 36 | |||
| Хороший краткий | 4,48 | 1,17 | 283 | 3,65 | 1,30 | 36 | |||
| Средний | 4,47 | 1,24 | 338 | 5,02 | 1,38 | 36 | |||
| Ошибочный | 3,97 | 1,59 | 301 | 3,78 | 1,36 | 36 | |||
| Молчаливый | 4,52 | 1,20 | 592 | 4,92 | 1,30 | 36 | |||
| Хороший разборчивый | 4,86 | 1,29 | 286 | 4,91 | 1,22 | 307 | |||
| Монте-Карло | 4,39 | 1,41 | 273 | 5,04 | 1,35 | 298 | |||
| Среднее | 4,49 | 1,34 | 2283 | 4,97 | 1,28 | 605 | 3,79 | 1,45 | 180 |
Заключение
Мы пытались осветить характерные ораторские черты AutoTutor, которые отличают его от остальных анализированных обучающих систем. Конечно, мы признаем, что AutoTutor все еще нуждается в оттачивании своего педагогического и разговорного мастерства, тем не менее, мы уверены, что он воплощает в себе многие из характерных педагогических и ораторских черт обучающих программ, следующего поколения. В отличие от остальных обучающих программ, понимаемые AutoTutor данные, вводимые на обычном языке, не ограничиваются набором реплик (напр. «Почему?», «намек», «Покажи» - опции в Adele (Shaw, Johnson, Ganeshan,1999), Persona (Andre, Rist & Muller,1998) или ограниченный набор высказываний, понимаемый в Gandalf (Cassell & Thorisson,1999). AutoTutor не только понимает данные, вводимые обучаемым на обычном языке, но и отвечает диалогом, который приближен к тому, которые используют обычные преподаватели. Недавно мы начали четвертый цикл оценок, в котором AutoTutor взаимодействует с обучаемыми людьми. Этот цикл закроет главу о данной версии AutoTutor. Мы разрабатываем следующий проект, AutoTutor 2. Его характерные черты включают в себя модуль обратной связи с обратным каналом, трехмерного агента, способного к демонстрации комплексных эмоций, и темы учебного плана, организованные в структуре концептуального знания, которые дадут возможность AutoTutor 2 делать более сложный выбор шагов диалога.
Список литературы
Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive tutors: Lessons learned. The Journal of the Learning Sciences, 4, 167-207.
André, E., Rist, T., & Müller, J. (1998). Integrating reactive and scripted behaviors in a life-like presentation agent. Proceedings of the Second International Conference on Autonomous Agents (pp. 261-268). Minneapolis-St.Paul, MN.
Beekman, G. (1997). Computer confluence. New York: Benjamin/Cummings.
Bloom, B. S. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. New York: McKay.
Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational Researcher, 13, 4-16.
Bransford, J. D., Goldman, S. R., & Vye, N. J. (1991). Making a difference in people’s ability to think: Reflections on a decade of work and some hopes for the future. In R. J. Sternberg & L. Okagaki (Eds.), Influences on children (pp. 147-180). Hillsdale, NJ: Erlbaum.
Brown, P., & Levinson, S. C. (1987). Politeness: Some universals in language use. Cambridge: Cambridge University Press.
Cassell, J., & Thórisson, K.R. (1999). The power of a nod and a glance: Envelope vs. emotional feedback in animated conversational agents. Applied Artificial Intelligence, 13, 519-538.
Chi, M. T. H., de Leeuw, N., Chiu, M., & LaVancher, C. (1994). Eliciting self-explanations improves understanding. Cognitive Science, 18, 439-477.
Chi, M. T., Bassok, M., Lewis, M. W., Reimann, P., & Glaser, R. (1989). Self-explanations: How students study and use examples in learning to solve problems. Cognitive Science, 13, 145-182.
Cohen, P. A., Kulik, J. A., & Kulik, C. C. (1982). Educational outcomes of tutoring: A meta-analysis of findings. American Educational Research Journal, 19, 237-248.
Collins, A. (1985). Teaching reasoning skills. In S.F. Chipman, J.W. Segal, & R. Glaser (Eds), Thinking and learning skills (vol. 2, pp. 579-586). Hillsdale, NJ: Erlbaum.
Collins, A., Brown, J. S., & Newman, S. E. (1989). Cognitive apprenticeship: Teaching the craft of reading, writing, and mathematics. In L. B. Resnick (Ed.), Knowing, learning, and instruction: Essays in honor of Robert Glaser (pp. 453-494). Hillsdale, NJ: Erlbaum.
Foltz, P.W. (1996). Latent semantic analysis for text-based research. Behavior Research Methods, Instruments, and Computers, 28, 197-202.
Foltz, P. W., Britt, M. A., & Perfetti, C. A. (1996). Reasoning from multiple texts: An automatic analysis of readers’ situation models. Proceedings of the 18th Annual Conference of the Cognitive Science Society (pp. 110-115). Mahwah, NJ: Erlbaum.
Fox, B. (1993). The human tutorial dialog project. Hillsdale, NJ: Erlbaum.
Freedman, R. (1999). Atlas: A plan manager for mixed-initiative, multimodal dialogue. AAAI ’99 Workshop on Mixed-Initiative Intelligence, Orlando.
Gagné, R. M. (1977). The conditions of learning (3rd ed.). New York: Holdt, Rinehart, & Winston.
Graesser, A. C., & Person, N.K. (1994). Question asking during tutoring. American Educational Research Journal, 31, 104-137.
Graesser, A.C., Franklin, S., & Wiemer-Hastings, P. and the Tutoring Research Group (1998). Simulating smooth tutorial dialog with pedagogical value. Proceedings of the American Association for Artificial Intelligence (pp. 163-167). Menlo Park, CA: AAAI Press.
Graesser, A. C., Person, N. K., & Magliano, J. P. (1995). Collaborative dialog patterns in naturalistic one-on-one tutoring. Applied Cognitive Psychology, 9, 359-387.
Graesser, A.C., Wiemer-Hastings, P., Wiemer-Hastings, K., Harter, D., Person, N., and the Tutoring Research Group (in press). Using latent semantic analysis to evaluate the contributions of students in AutoTutor. Interactive Learning Environment.s
Grice, H. P. (1975). Logic and conversation. In P. Cole & J. Morgan, (Eds.), Syntax and semantics, vol. 3: Speech acts (pp. 41-58). New York: Academic Press.
Grice, H. P. (1978). Further notes on logic and conversation. In P. Cole (Ed.), Syntax and semantics, vol. 9; Pragmatics (pp. 113-127).
Hu, X., Graesser, A. C., and the Tutoring Research Group (1998). Using WordNet and latent semantic analysis to evaluate the conversational contributions of learners in the tutorial dialog. Proceedings of the International Conference on Computers in Education, Vol. 2, (pp. 337-341). Beijing, China: Springer.
Hume, G. D., Michael, J. A., Rovick, A., & Evens, M. W. (1996). Hinting as a tactic in one-on-one tutoring. The Journal of the Learning Sciences, 5, 23-47.
Kosko, B. (1992). Neural networks and fuzzy systems. New York: Prentice Hall.
Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological Review.
Landauer, T. K., Foltz, P. W., Laham, D. (1998). An introduction to latent semantic analysis. Discourse Processes, 25, 259-284.
Lepper, M. R., Aspinwall, L. G., Mumme, D. L., & Chabay, R. W. (1990). Self-perception and social-perception processes in tutoring: Subtle social control strategies of expert tutors. In J. M. Olson & M. P. Zanna (Eds.), Self-inference processes: The Ontario symposium (pp. 217-237). Hillsdale, NJ: Erlbaum.
Lesgold, A., Lajoie, S., Bunzo, M., & Eggan, G. (1992). SHERLOCK: A coached practice
environment for an electronics troubleshooting job. In J. H. Larkin & R. W. Chabay (Eds.), Computer-assisted instruction and intelligent tutoring systems (pp. 201-238). Hillsdale, NJ: Erlbaum.
McArthur, D., Stasz, C., & Zmuidzinas, M. (1990). Tutoring techniques in algebra. Cognition and Instruction, 7, 197-244.
McCauley, L., Gholson, B., Hu, X., Graesser, A. C., and the Tutoring Research Group (1998). Delivering smooth tutorial dialog using a talking head. Proceedings of the Workshop on Embodied Conversation Characters (pp. 31-38). Tahoe City, CA: AAAI and ACM.
Mehan, H. (1979). Learning lessons: Social organization in the classroom. Cambridge, MA: Harvard University Press.
Merrill, D. C., Reiser, B. J., Ranney, M., & Trafton, J. G. (1992). Effective tutoring techniques: A comparison of human tutors and intelligent tutoring systems. The Journal of the Learning Sciences, 2, 277-305.
Moore, J.D. (1995). Participating in explanatory dialogues. Cambridge, MA: MIT Press.
Olde, B. A., Hoeffner, J., Chipman, P., Graesser, A. C., and the Tutoring Research Group (1999). A connectionist model for part of speech tagging. Proceedings of the American Association for Artificial Intelligence (pp. 172-176). Menlo Park, CA: AAAI Press.
Palinscar, A. S., & Brown, A. (1984). Reciprocal teaching of comprehension-fostering and comprehension-monitoring activities. Cognition & Instruction, 1, 117-175.
Person, N. K., Graesser, A. C., Magliano, J. P., & Kreuz, R. J. (1994). Inferring what the student knows in one-to-one tutoring: The role of student questions and answers. Learning and Individual Differences, 6, 205-29.
Person, N. K., Klettke, B., Link, K., Kreuz, R. J., and the Tutoring Research Group (1999). The integration of affective responses into AutoTutor. Proceeding of the International Workshop on Affect in Interactions (pp. 167-178). Siena, Italy.
Person, N. K., Kreuz, R. J., Zwaan, R., & Graesser, A. C. (1995). Pragmatics and pedagogy: Conversational rules and politeness strategies may inhibit effective tutoring. Cognition and Instruction, 13, 161-188.
Person, N. K, & Graesser, A. C. (1999). Evolution of discourse in cross-age tutoring. In A.M.
O’Donnell and A. King (Eds.), Cognitive perspectives on peer learning (pp. 69-86). Mahwah, NJ: Erlbaum.
Pressley, M., Wood, E., Woloshyn, V. E., Martin, V., King, A., & Menk, D. (1992). Encouraging mindful use of prior knowledge: Attempting to construct explanatory answers facilitates learning. Educational Psychologist, 27, 91-110.
Putnam, R. T. (1987). Structuring and adjusting content for students: A study of live and simulated tutoring of addition. American Educational Research Journal, 24, 13-48.
Rose, C. P., Di Eugenio, B., & Moore, J. D. (1999). A dialogue based tutoring system for basic electricity and electronics. In S. P. Lajoie & M. Vivet (Eds.), Artificial Intelligence in Education (Proceedings of AI-ED ’99, Le Mans) (pp. 759–761). Amsterdam: IOS Press
Shaw, E., Johnson, W.L., & Ganeshan, R. (1999). Pedagogical agents on the web. Proceedings of the Ninth International Conference on Artificial Intelligence. IOS Press.
Ur, S. & VanLehn, K. (1995) Steps: A simulated, tutorable physics student. Journal of Artificial Intelligence in Education, 6(4), pp. 405-437.
VanLehn, K. (1990). Mind bugs: The origins of procedural misconceptions. Cambridge, MA: MIT Press.
VanLehn, K., Ohlsson, S. & Nason, R. (1994). Applications of simulated students: An exploration. Journal of Artificial Intelligence in Education, 5(2), pp. 135-175.
Wakefield, J. F. (1996). Educational psychology: Learning to be a problem solver. Boston:
Houghton Mifflin.
Webb, N. M., Troper, J. D., & Fall, R. (1995). Constructive activity and learning in collaborative small groups. Journal of Educational Psychology, 87, 406-423.
Wiemer-Hastings, P., Graesser, A. C., Harter, D., and the Tutoring Research Group (1998). The foundations and architecture of AutoTutor. Proceedings of the 4th International Conference on Intelligent Tutoring Systems (pp. 334-343). Berlin, Germany: Springer-Verlag.
Wiemer-Hastings, P., Wiemer-Hastings, K., and Graesser, A. (1999). Improving an intelligent tutor's comprehension of students with Latent Semantic Analysis. Artificial Intelligence in Education (pp. 535-542). Amsterdam: IOS Press.
Zhou, Y., Freedman, R., Glass, M., Michael, J. A., Rovick, A. A., Evens, M. W. (1999a). Delivering hints in a dialogue-based intelligent tutoring system. In Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI ’99), Orlando, FL.
Приложение
Учебный план.
Макро тема: комплектующие
Тема: Увеличение ОЗУ улучшает общие характеристики компьютера
Уровень концептуальной сложности: Средний
Формат темы: Проблема + Вопрос
В ведение в тему, Проблема + Вопрос (представлено AutoTutor).
Предположим, что вы хотите обучиться управлению бизнесом в качестве не основной специальности и хотите работать с программой статистики BusinessStat. Инструкция по установке программы говорит, что вам необходим 486-50 компьютер с 32 МБ ОЗУ. У вас есть 486-50 компьютер, но только 8 МБ ОЗУ. Вы решаете усовершенствовать свой компьютер, чтобы запустить BusinessStat. Обдумайте проблему. Как вы усовершенствовать свой компьютер? Как это повлияет на характеристики компьютера для запуска других программ?
Идеальный ответ.
Для запуска BusinessStat вам необходимо добавить ОЗУ или увеличить виртуальную память. Добавление ОЗУ или увеличение виртуальной памяти увеличит общие характеристики компьютера. Увеличение памяти позволяет оперировать большим количеством данных, а также запускать несколько программ одновременно. Компьютер может выполнять только одну инструкцию программы за один раз, и использует ОЗУ и виртуальную память для хранения остальных программ и данных, пока они не понадобятся снова. С большим объемом памяти компьютер может сохранить большие программы и большое количество данных.
Аспекты идеального хорошего ответа
Для запуска BusinessStat вам необходимо добавить в ваш компьютер ОЗУ или увеличить виртуальную память.
Добавление ОЗУ или увеличение виртуальной памяти увеличит общие характеристики компьютера.
Добавление ОЗУ позволяет использовать большие программы.
Добавление памяти позволит манипулировать большим количеством данных.
Добавление памяти позволит запускать несколько программ одновременно.
Компьютер может выполнять только одну инструкцию программы за один раз, и использует ОЗУ и виртуальную память для хранения остальных программ и данных, пока они не понадобятся.
Имея большое объем памяти компьютером сохранить большие программы и большое количество данных.
Другие возможные ответы, которые были включены в сжатый тест ЛСА. (Такие ответы давались студентами, записавшимися на курсы компьютерной грамотности и оценивались экспертами как “хорошие”)
Для запуска BusinessStat дома, мне необходимо добавить ОЗУ или виртуальную память. Вероятно это улучшит характеристики моего компьютера, что позволит запускать программы, занимающие много места.
Для запуска BusinessStat мне необходимо добавить ОЗУ или виртуальную память. Добавление ОЗУ или виртуальной памяти вероятно улучшит характеристики моего компьютера. Я смогу запускать программы, которые занимают много памяти или запускать в то же время дополнительные программы, занимающие меньший объем памяти.
Для запуска BusinessStat дома мне надо добавить ОЗУ или виртуальную память. Добавление ОЗУ или виртуальной памяти вероятно улучшит характеристики моего компьютера. Большой объем ОЗУ или виртуальной памяти позволит запускать программы, занимающие большой объем памяти. Увеличение памяти позволит иметь дело с большим объемом данных одновременно. Компьютер использует ОЗУ как временную память.
Для запуска BusinessStat необходимо увеличить ОЗУ или виртуальную память. Увеличение ОЗУ поможет компьютеру запускать большие программы. Добавление памяти улучшит общие характеристики компьютера.
Для того, чтобы запустить BusinessStat, должен быть добавлен ОЗУ или виртуальная память. Увеличение памяти ведет к тому, что возможно будет запоминать больше объемы данных или программ.
BusinessStat запустится, если добавить в компьютер ОЗУ или виртуальную память. Увеличение ОЗУ или виртуальной памяти ведет к улучшению общих характеристик компьютера. Возможно будет запускать большие программы. Возможно будет одновременно запустить несколько программ меньшего размера. Компьютер сможет хранить большие объмы данных и программ.
Вы покупаете больше ОЗУ, что увеличит скорость компьютера.
Решением будет покупка дополнительного ОЗУ. Увеличение ОЗУ сделает ваш компьютер быстрее и позволит запускать в будущем объемные программы.
Вам необходимо добавить ОЗУ к вашей памяти, что увеличит скорость настолько, что позволит вам использовать программы, которые требуют дополнительного ОЗУ.
Я думаю, вы должны увеличить имеющееся ОЗУ, следовательно, ваш компьютер будет быстрее работать с программами, которые вы, возможно, будете использовать.
ОЗУ легко и недорого увеличивается добавлением SIMMS или DIMS к текущей памяти. Увеличение ОЗУ ведет к увеличению скорости, с которой работает программное обеспечение.
Увеличение ОЗУ увеличит способность компьютера хранить и использовать информацию, находящуюся в BusinessStat и других программах, требующих много доступного ОЗУ.
Я добавлю в свой компьютер ОЗУ, что позволит мне запустить BusinessStat и улучшит характеристики моего компьютера, т.к. компьютер не использует для запуска виртуальную память.
Если требуется 486/25, а ваша машина-486/50,вы можете запустить программу. Поскольку также требуется 32МБ 03У, то все, что вы можете сделать, это увеличить вашу память добавлением чипа SIMMS . Иначе компьютер будет работать слишком медленно, когда вы будете запускать это программное обеспечение.
Я куплю дополнительную ОЗУ. Такое решение позволит мне в дальнейшем запускать другие программы, также требующие больших объемов памяти.
Плохие ответы.
При небольшом ОЗУ вы, однако, можете хранить программу на дискете.
Для увеличения свободного места в ОЗУ, удалите старые файлы или программы.
Компьютер достаточно быстрый чтобы запустить программу.
Меньше память, медленее выполнение программы.
Добавление долговременной памяти позволит запустить программу.
Скорость компьютера позволит запустить программу.
Для запуска
10-09-2015, 03:06