Суть оперантного научения состоит в том, что подкрепленное поведение стремится повториться, а поведение неподкрепленное или наказуемое имеет тенденцию не повторяться или подавляться. Следовательно, концепция подкрепления играет ключевую роль в теории Скиннера.
Скорость, с которой оперантное поведение приобретается и сохраняется, зависит от режима применяемого подкрепления.
Режим подкрепления - правило, устанавливающее вероятность, с которой подкрепление будет происходить.
Самым простым правилом является предъявление подкрепления каждый раз, когда субъект дает желаемую реакцию. Это называется режимом непрерывного подкрепления и обычно используется на начальном этапе любого оперантного научения, когда организм учится производить правильную реакцию. В большинстве ситуаций повседневной жизни, однако, это либо неосуществимо, либо неэкономично для сохранения желаемой реакции, так как подкрепление поведения бывает не всегда одинаковым и регулярным. Ребенок плачет неоднократно, прежде чем добьется внимания матери. Неподкрепленные реакции встречаются до тех пор, пока одна из них не будет подкреплена.
Скиннер тщательно изучал, как режим прерывистого, или частичного, подкрепления влияет на оперантное поведение. Хотя возможны многие различные режимы подкрепления, их все можно классифицировать в соответствии с двумя основными параметрами:
1) подкрепление может иметь место только после того, как истек определенный или случайный временной интервал с момента предыдущего подкрепления (так называемый режим временного подкрепления);
2) подкрепление может иметь место только после того, как с момента подкрепления было получено определенное или случайное количество реакций (режим пропорционального подкрепления).
Режимы подкрепления – любой из режимов, в котором субъекту предъявляется подкрепление, определяемых некоторыми пространственными, временными или последовательными аспектами реакции. В приводящемся ниже описании подразумевается, что речь идет в оперантном поведении, хотя некоторые из этих режимов использовались в классическом обусловливании (например, непрерывное подкрепление), употребление термина режим подкрепления в таком контексте редко. Притягательность режимов подкрепления для многих психологов, особенно скиннеровских бихевиористов, объясняется тем фактом, что подкрепление поведения в повседневной жизни обычно нерегулярно и неоднообразно. Поэтому были приложены значительные усилия для исследования того эффекта, который оказывает режимы представления подкрепления на создание и поддержание поведения. Следующий список включает наиболее полно изученные режимы подкрепления. Используемая здесь система классификации более или менее стандартна, хотя в специальной литературе можно встретить и другие: сначала представлены "простые" режимы, где имеется единственный тип сопряженности между реакцией и подкреплением; затем описываются "составные" режимы, где действуют два или более простых режима; в заключение приводятся "специальные" режимы, которые не подходят ни к одному из предыдущих классов.
I. Простые режимы. Все нижеперечисленные режимы, в которых имеется только одна связь между реакцией и появлением подкрепляющего стимула.
1.Непрерывное подкрепление (crf, или CRF). Довольно просто: подкрепляется каждая реакция.
2. Угасание (ехt, или EХТ). Ни одна реакция не подкрепляется.
3. Фиксированный коэффициент (FR). Класс режимов, при котором отношение между реакциями и подкреплениями фиксировано, то есть подкрепление следует за установленным числом реакции совершенна с момента предшествующего подкрепления. Таким образом, FR 10 означает, что подкрепляется каждая 10-я реакция. Обратите внимание, что, согласно этому способу употребления, CRF фактически представляет собой режим с фиксированным коэффициентом, а именно с FR =1.
4. Переменный коэффициент (VR). Класс режимов, при которых отношение между реакциями и подкреплениями варьируется некоторым случайным или полуслучайным образом, но с определенным средним значением. Таким образом, VR 10 означает, что в среднем подкрепляется каждая 10-я реакция.
5. Случайный коэффициент (RR). Вариация режима VR, при которой коэффициент определяет степень вероятности с которой будет подкрепляться любая данная реакция. При RR 10, например, вероятность того, что любая данная реакция будет подкреплена - 0.10, независимо от числа реакций, сделанных со времени предыдущего подкрепления.
6. Фиксированный интервал (FI). Режимы смежности по времени, при которых подкрепляется последняя реакции, сделанная через определенный интервал времени после предшествующего подкрепления. Обычно в протоколах используется следующая система обозначений: FI 3, что означает: фиксированный интервал = 3 минуты.
7. Переменный интервал (VI). Режимы смежности во времени, при которых последовательность поступления подкрепления "устанавливается" случайным или полуслучайным образом с определенным средним значением. Таким образом, VI 3 означает, что в среднем интервал между потенциальными подкреплениями составляет 3 минуты. Обратите внимание, что режимы VI имеют тенденцию вызывать реакции с очень регулярной скоростью, в то время как режимы FI имеют тенденцию вызывать внезапные реакции, сопровождаемые периодами слабых реакций или их отсутствия.
8. Фиксированное время (FT). Класс режимов подкрепления, при которых, как и при режимах FI, подкрепление поступает через фиксированные временные интервалы, но в отличие от режимов FI независимо от того, совершает субъект какие-либо реакции или нет.
9. Переменное время (VT). Подобно режимам FT, но варьируется время между подкреплениями.
10. Дифференциальное подкрепление низкой скорости (drl, или DRL). Класс режимов, основанных на определенной скорости реакции, которая не должна превышаться, чтобы возникло подкрепление. Таким образом, при DRL 10 (секунд) должно пройти 10 минут между реакциями, иначе никакого подкрепления не последует: реакция, совершенная слишком быстро, "возвращает часы в исходное положение" и нужно, чтобы прошли другие 10 секунд без реакции. Дифференциальное подкрепление высокой скорости (drh или DRH). В отличие от DRL, здесь скорость должна превысить некоторое заданное значение, чтобы возникло подкрепление. DRH 1 (секунда) означает что время между реакциями должно быть меньше 1 секунды.
11. Дифференциальное подкрепление заданного темпа реакций (drp, или DRP).
12. Дифференциальное подкрепление другого поведения (dro, или DRO).
II. Составные режимы. Ниже приводятся режимы, в которых два или более простых режима объединены в составную форму. Они могут быть либо «последовательными», в этом случае один компонент режима должен быть выполнен до начала действия другого (других), либо они могут быть "одновременными", в этом случае два или более режима действуют фактически одновременно.
1. Тандем (tand). Последовательный режим, при котором подкрепление зависит от последовательного завершения двух или более простых ре-шов. Таким образом, в тандеме FI 2 FR 5 компонент FI 2 должен быть выползи до того, как начнется отсчет времени реакции для FR 5. Полная последовательность выполняется без различительных стимулов для субъекта в отношении того, какой компонент действует в любой момент времени.
2. Цепной (chain). Последовательный режим, подобный тандему, за исключением того, го различительный стимул связан с каждым компонентом.
3. Смешанный (mix). Последовательный режим, в котором представлены два или более простых режима по очереди или произвольно. Как и в режиме тандема, здесь не используются никакие различительные стимулы.
4. Множественный (mult). Такой же, как и смешанный режим, но с добавлением различительных стимулов для выделения каждого из компонентов.
5. Альтернативный (alt). Одновременный режим, в котором выполнение любого из компонентов вызывает подкрепление. После подкрепления этот режим "переустанавливается". Таким образом, при alt FI 5 FR 50 подкрепление возникает либо после 50-й реакции, если она возникла в течение 5 минут, либо после 1-й реакции, совершенной в конце 5-минутного периода, считая с завершения последнего подкрепления.
6. Конъюнктивный (conj). Подобен альтернативному, за исключением того, что здесь все компоненты должны быть выполнены прежде, чем будет предъявлено подкрепление.
7. Конкурентный (сопс). Общее обозначение, пользуемое в отношении всех ситуаций, в которых два или более режима, установленных независимо друг от друга, действуют одновременно.
III. Специальные режимы. Эти режимы содержат временные или скоростные компоненты, которые не вполне вписываются в вышеупомянутые категории.
1. Взаимозависимый (interlock). Класс режимов, в которых подкрепление дается после завершения данного числа реакций, но это число изменяется как функция от времени, начиная с последнего подкрепления. Например, линейное сокращение числа реакций может быть запрограммировано так, что, чем дольше субъект ждет, тем меньшее число реакций требуется для подкрепления.
2. Регулируемый (adj). Класс режимов, в которых условия для возникновения подкрепления систематически регулируются как функция от действий субъекта. Например, FR может увеличиваться или уменьшаться в зависимости от того, является ли латентное время первой реакции после подкрепления большим или меньшим, чем некоторое предварительно определенное значение.
3. Сопряженный (conjug). Режим, в котором уровень интенсивности некоторого подкрепляющего стимула увеличивается или уменьшается в зависимости от скорости реагирования; например, яркость экрана телевизора тематически изменяется в зависимости от скорости.
4. Интерполируемый (iter). Режим, в котором маленький блок подкреплений из одного режима вводятся без различительных стимулов в другой действующий режим. Существуют и другие режимы (9).
10. Образное поведение
И.С. Бериташвили выдвинул концепцию, согласно которой у высших позвоночных важнейшую роль играет образное (психонервное) поведение. Начиная с 1926 г. он изучал поведение животных по разработанному им методу свободного перемещения в экспериментальном манеже. Полученные И.С. Бериташвили (1975) факты было невозможно объяснить с позиции теории условно-рефлекторного обучения. Суть представлений этого ученого состоит в следующем: у высших позвоночных животных при первом же восприятии местоположения пищи создается образ или конкретное представление пищи и ее местоположения в данной среде. Этот образ сохраняется и каждый раз, когда он репродуцируется при восприятии данной среды или какого-либо его компонента, животное производит такое же ориентировочное движение головы, как и при непосредственном восприятии, ведет себя точно так, как при восприятии, т. е. идет к месту пищи, обнюхав его и, если находит пищу, съедает ее. Такое психонервное поведение, направленное образами, стали называть произвольным в отличие от условно-рефлекторного поведения, которое И.С. Бериташвили считал автоматизированным, непроизвольным.
Психической деятельности человека эволюционно предшествуют некоторые элементы психического поведения у высших животных. К ним относится психонервная деятельность, направляемая воспроизведением образов предыдущего опыта, основанная на образном поведении животного, когда основным действенным стимулом для запускания какого-либо поведенческого акта становится не сам реальный объективный стимул окружающей среды, а «нейронный» образ этого стимула, сформировавшийся в нервных центрах. Поведенческие акты, определяемые психонервной деятельностью, возникают при воспроизведении образа жизненно важного объекта, приводящего к удовлетворению какой-либо органической потребности животного и человека. Например, в случае индивидуального пищевого поведения таким конечным объектом является пища. Воспроизведенный «образ» пищи проецируется в определенном месте внешней среды и служит стимулом для движения животного к данному месту подобно тому, как это происходит, когда действительно пища располагается в этом месте. На определенном этапе формирования «психического» образа пищи он оказывается более сильным стимулом, чем реальная пища: животное подбегает к месту, ассоциируемому животным с пищей, но в действительности не содержащей ее (хотя животное хорошо видит, что пищи нет, но «образ пищи» оказывается сильнее реальности).
Форма поведения животных и человека, определяемая образами, характеризуется тем, что при помощи проецируемых в мозге образов внешних объектов у индивида устанавливаются пространственные отношения как между этими объектами, так и между собой и ними. Психонервная активность интегрирует элементы внешней среды в одно целое переживание, производящее целостный образ. Такое воспроизведение образа может происходить и спустя длительное время после начального восприятия жизненно важной ситуации. Иногда образ может удерживаться всю жизнь без повторного его воспроизведения. Образ фиксируется в памяти и извлекается оттуда для удовлетворения господствующей биологической потребности в данный момент. В отличие от классических условных рефлексов, которые требуют повторяемости, психонервный образ формируется сразу после одной реализации поведенческого акта.
11. Репрезентации
Репрезентации различают декларативные и процедурные.
Декларативная репрезентация – мысленный образ желаемого объекта или цели.
Образное представление объекта имеет картинный характер и субъективно переживается в виде некоторой симультанно (одновременно) заданной целостности.
Процедурная репрезентация – это совокупность команд, автоматически ведущих к желаемому объекту без формирования его образа.
12. Инсайт, как тип научения
Инсайт (от англ. insight – проницательность, проникновение в суть) — понятие, введенное в гештальтпсихологию в 1925 г. В. Келером. Обозначает внезапное усмотрение сути проблемной ситуации . В опытах Келера с человекообразными обезьянами, когда им предлагались задачи, которые могли быть решены лишь опосредствованно, было показано, что обезьяны после ряда безрезультатных проб прекращали активные действия и просто разглядывали предметы вокруг, после чего могли достаточно быстро прийти к правильному решению. В дальнейшем это понятие использовалось К. Дункером и М. Вертгеймером в качестве характеристики человеческого мышления, при котором решение достигается путем мысленного постижения целого, а не в результате анализа (4).
13. Функция обобщения у животных по работам Е.И. Мухина
По мнению Е.И. Мухина (1990) для рассудочной деятельности характерны некоторые особенности: решение задачи животными без предварительного обучения; повторение экспериментальной ситуации сразу воспроизводит точный ответ со стороны животного; найденный способ решения одной задачи относительно легко переносится в другие условия для решения более сложных, но в чем-то похожих задач.
В исследованиях Е.И. Мухина кошкам приходилось осуществлять сравнение, выделение, отвлечение существенных признаков раздражителей, принадлежащих к разным группам, оценивать элементы сигналов на конкретном и абстрактном уровнях элементарного мышления, обобщать последовательно предъявляемые все усложняющиеся стимулы. При этом оценивалась способность кошек к улавливанию эмпирической закономерности от простого качественного обобщения с переходом к количественному и далее к обобщению с элементами отвлечения от конкретных сигналов. Результаты исследований выявили наличие у кошек простейшего абстрагирования, высокой степени обобщения и прогнозирования.
Е.И. Мухин считает, что отношения сигналов - специальный раздражитель. Различия и сходства по определенному свойству становятся самостоятельным условным сигналом. Следовательно, одновременно существует две временные связи: одна на относительные признаки, другая - на абсолютные, так как вначале происходит распознавание (узнавание, опознавание вообще) сигналов по их конкретным характеристикам, а затем они сравниваются между собой и вычленяются относительные признаки сходства и различия, необходимые для обобщения. Аналитическая и синтетическая деятельность слиты воедино, нервные процессы в условном рефлексе на отношение объединяются в систему, новое структурно-функциональное образование, а новая интеграция (как единое целое) несет в себе специфические, присущие только ей черты. Одной из них является способность к обобщению отношений, т.е. образование без специальной выработки новых гибких, неавтоматизированных связей (ассоциаций).
Мышление как нечто психофизиологическое целое не сводится к простым ассоциациям. Функция обобщения у животных складывается на основе опыта, процессов сравнения, выделения существенных признаков у ряда предметов, их объединения, что способствует образованию у них ассоциаций и способности улавливать правильность хода событий, прогнозированию будущих последствий. Простое использование прежнего опыта, механическое репродуцирование условно-рефлекторных связей не могут обеспечить быстрой адаптации в постоянно меняющихся условиях среды обитания, гибко отвечать на нестандартные ситуации, программировать поведение.
Реальные отношения предметов и явлений на стадии интеллекта могут улавливаться с первого предъявления ситуации. Однако разумная познавательная деятельность не только не исключает предшествующий опыт, но и использует его, хотя и не сводится к практике, в чем существенно отличается от условного рефлекса. В норме быстрые решения все возрастающих по сложности задач возможны только при постепенном их усложнении. Это естественно, ибо, чтобы эмпирически уловить какую-либо закономерность, нужен ряд явлений.
14. Импринтинг
Импринтинг — понятие, введенное К. Лоренцом, обозначающее раннее запечатление у животных. Сразу после рождения в первые часы и дни жизни животные способны запоминать подвижные предметы, которые находятся в непосредственной близости от них, и переносить на них свои инстинктивные реакции, связанные прежде всего с ориентировкой на родителей.
Среди натуральных условных рефлексов в особую группу выделяют так называемое запечатление - импринтинг, который заключается в очень быстром обучении определенным жизненно важным действиям. Импринтинг может происходить в строго определенные критические периоды онтогенеза. Обычно запечатление осуществляется в раннем детстве и может произойти только в течение специального чувствительного периода, а, если этот период будет упущен, в более поздние сроки оно уже не осуществится. Классический пример запечатления - формирование реакции следования за матерью у птенцов выводковых птиц, или, по современной терминологии, запечатление привязанности. Сама по себе реакция эта врожденная, но в течение первых часов после вылупления молодые птицы должны "запечатлеть" облик матери. Если в этот период утята не увидят утки, то впоследствии будут ее бояться. Более того, у утенка, не встретившего в соответствующий период подходящего для запечатления объекта, в дальнейшем его поведение будет резко нарушено: он будет избегать контактов со всеми живыми существами. Если же в этот период на глаза утенку попадает какой-нибудь движущийся предмет, например футбольный мяч или игрушечная машина, то он начинает реагировать на него как на свою мать и всюду следовать за ним. Так, например, Лоренц выращивал разных представителей отряда гусеобразных в изоляции от сородичей в течение первой недели жизни и отметил, что такие птицы предпочитают следовать за людьми, а не за птицами своего вида.
Классический импринтинг характерен для копытных животных и других зрелорождающихся млекопитающих и для выводковых птиц и характеризуется исключительно быстрым формированием.
Рефлекторные акты, осуществляемые животными на основе информации, усвоенной путем запечатления, обычно являются фрагментами инстинктивных реакций, поэтому необходимость их образования генетически запрограммирована. Они видоспецифичны, и их образование почти так же обязательно, как и наличие самих инстинктов.
К. Лоренц указывал, что импринтинг лежит в основе ключевых стимулов, играющих важную роль в осуществлении инстинктивных реакций. Лоренц отмечал, что по своим свойствам запечатление существенно отличается от обычного ассоциативного обучения, прежде
9-09-2015, 15:34