CONDICIONAMIENTO OPERANTE

CONDICIONAMIENTO OPERANTE

Introducción

El condicionamiento operante constituye uno de los mecanismos de aprendizaje de mayor importancia teórica y práctica: por una parte, es seguramente el más investigado y mejor comprendido, y por otra es fuente de algunas de las más significativas aplicaciones de la psicología a problemas concretos.
En una primera aproximación, se diferencia del CC en un aspecto esencial: En el CO, la secuencia de sucesos depende de la conducta del organismo. En el CC, lo que sucede a lo largo de una sesión está prefijado por el psicólogo, y la secuencia de estímulos que se administran es independiente de que el organismo responda o no.
Los mecanismos que hemos estudiado hasta ahora permiten a un organismo aprender acerca de aspectos de su entorno que no resultan controlables. El CO permite a un organismo aprender a controlar ciertos aspectos del medio mediante su conducta.
En sentido estricto, el C. Operante es un caso particular de C. Instrumental. El C. Instrumental se refiere a los mecanismos por los cuales un organismo aprende a dar una respuesta más frecuentemente (o menos) en virtud de los eventos(o “consecuencias”) que siguen sistemáticamente a dicha respuesta. El C. Operante se refiere a los casos en los que dicha respuesta se define como un operante, es decir, en virtud de sus propiedades funcionales. Sin embargo, la importancia relativa del C.operante es tan grande que a menudo ambos términos (“operante” e “instrumental”) se emplean como sinónimos.
 Antecedentes
 Thorndike:
Interesado en la inteligencia animal, a partir de presupuestos darwinianos, presenta en su tesis doctoral (1898) un estudio sobre el comportamiento de animales en situaciones-problema muy simples. Utilizando estas situaciones (mediante las llamadas "cajas-problema") comprueba que los animales aprenden a solucionar el problema por ensayo y error: al principio, su conducta es caótica y dan con la solución (accionar el mecanismo de apertura de la caja de forma que puedan salir y alcanzar la comida) por pura casualidad, pero en sucesivos ensayos el tiempo que tarda el animal en dar la respuesta relevante disminuye de forma progresiva y sistemática, y las respuestas erráticas se reducen hasta casi desaparecer.
A partir de esta clase de estudios, Thorndike formula en 1911 la Ley del Efecto:
Si una respuesta en una situación estimular dada es seguida por un suceso satisfactorio o placentero, la relación entre la situación y la respuesta se fortalece, de forma que el organismo tendrá más tendencia a dar esa respuesta en esa situación. Si por el contrario va seguida de un suceso nocivo o desagradable, la respuesta tenderá a no darse.
 Primeros conductistas
Desde el punto de vista del conductismo watsoniano, la anterior formulación resultaba muy inadecuada, ya que se basa en estados internos del organismo ("satisfactorio", "desagradable", etc.) inobservables y dudosos. Por otra parte, el intento de Thorndike de definir los “estados satisfactorios” como aquellos que el organismo no hacía nada por evitar, etc., incurría en circularidades que los críticos señalaron en repetidas ocasiones.
 Skinner
En los años 30-40, Skinner, adoptando un marco teórico más amplio, consistente y operativo, reformula la ley del efecto como "ley de refuerzo":
Ciertos sucesos (refuerzos), cuando siguen consistentemente a una respuesta de un organismo, aumentan su probabilidad
Desentendiéndose de las interpretaciones asociacionistas y, en gran medida, de los antecedentes estimulares de la conducta, pone el énfasis en la relación entre la respuesta y los eventos que la siguen consistentemente.
Una de las aportaciones teóricas más significativas de Skinner es la reconceptualización de la respuesta como "operante", es decir, definida exclusivamente por sus propiedades funcionales (en contraposición a otros aspectos, como la topografía o la intensidad - ver Tema 1)
Desde el punto de vista de la metodología de investigación, Skinner se decanta por los procedimientos de “operante libre”, en contraposición a los de “ensayo discreto”.
Procedimientos de ensayo discreto:
El organismo es sometido a sucesivos “ensayos”, entre los cuales normalmente es necesario manipularlo físicamente (por ejemplo, volver a meter el gato en la caja problema).
Son ventajosos para estudiar bastantes cuestiones, pero presentan dos inconvenientes: la manipulación del organismo puede interferir con el proceso natural de aprendizaje (por ejemplo, si le resulta estresante); y no nos da ninguna información sobre lo que haría el organismo si pudiera emitir la respuesta tan a menudo como quisiera (es decir, no podemos utilizar la tasa de R como variable dependiente).
Ejemplos de dispositivos: laberintos, corredores, las cajas-problema de Thorndike, etc.
Procedimientos de operante libre:
Las sesiones no se dividen en ensayos, sino que el O. está en una situación en la que puede emitir la respuesta en cualquier momento y con cualquier frecuencia.
Se han mostrado óptimos para el estudio de muchos aspectos generales del C.O.
El dispositivo más típico es la Caja de Skinner, junto con el registro acumulativo, que permiten estudiar detalladamente la evolución de la tasa de respuesta bajo las situaciones de aprendizaje.

 El fenómeno/procedimiento básico

El fenómeno nuclear del CO consiste en la implantación de una contingencia entre una respuesta emitida por un organismo y un suceso ambiental (“consecuente” o “consecuencia”) que sigue consistentemente a esa respuesta. Como resultado, la probabilidad de la respuesta se ve sistemáticamente modificada a medida que la situación se repite.
[ R. Op. Consecuencia ambiental ]
P(R)
En el caso más sencillo, se sitúa a un organimo en una determinada situación controlada (e.g., en una caja de Skinner y con cierto grado de privación previa de alimento), y se le suministra como consecuente (reforzador) una cierta cantidad de comida cada vez que emite una respuesta concreta y predeterminada por el psicólogo (apretar una palanca, picotear un disco, etc.). Se comprueba que la frecuencia de la respuesta elegida aumenta sistemáticamente a medida que transcurre el tiempo (recuérdese que en esta clase de experimentos, de "operante libre", no cabe hablar de ensayos propiamente dichos, sino que se trata de una situación contínua en la que el organismo lleva la iniciativa).
 Conceptos principales
 Respuesta
Puede ser cualquier respuesta incluida en el repertorio conductual del organismo, seleccionada arbitrariamente por el psicólogo.
Operante o respuesta operante: es el caso más frecuente. Se define por los efectos que opera en el ambiente (de ahí su nombre). Así, por ejemplo, cualquiera de las formas en que un organismo puede accionar una palanca se consideran como casos de una misma respuesta u operante. Es decir, puede hacerse abstracción de la topografía concreta de la respuesta (que se ejecute con un miembro u otro, con movimientos diferentes, etc.), aunque ésto va a depender en cada caso de lo que al psicólogo le interese que el organismo aprenda.
Típicamente, es una respuesta motora voluntaria, aunque puede tratarse también de una respuesta autonómica o visceral (e.g., aumento de la tasa cardiaca), e incluso de una acción de carácter lingüístico o cognitivo.
 Consecuente, consecuencia
Suceso que afecta sistemáticamente a la probabilidad de la respuesta a la que sigue consistentemente.
Reforzador o refuerzo: es un consecuente que aumenta la frecuencia de R a la que sigue.
Un refuerzo puede ser positivo (p.ej. aparición de un E apetitivo) o negativo (no-aparición o retirada de un E aversivo).
Castigo: es un consecuente que reduce la frecuencia de R a la que sigue.
Un castigo puede también ser positivo (p.ej. aparición de un suceso aversivo) o negativo (no-aparición o retirada de un suceso apetitivo).
Es muy importante no confundir un reforzador con un “estímulo o suceso agradable”. Un estímulo es un reforzador, por definición, en virtud de su efecto en el aumento de la respuesta a la que sigue, y no por su supuesta inducción de un estado subjetivo en un organismo
Asimismo, es importante observar que el refuerzo o el castigo no tienen por qué ser necesariamente “estímulos” en sentido estricto. Por ejemplo, el permitir o impedir al organismo realizar determinadas conductas pueden actuar como refuerzos o castigos respectivamente.

 Contingencia

Es la relación estadística entre la emisión de un operante y la administración de una consecuencia. A menudo se emplea la expresión "contingencias de refuerzo" o "contingencias de reforzamiento" para referirse al proceso por el cual un organismo ha adquirido una determinada respuesta (e.g. "la presencia de patrones de retraimiento social que llamamos timidez depende de las contingencias de refuerzo" significa que se atribuye la frecuencia diferencial de un conjunto de respuestas al vínculo estadístico que han tenido en el historial del sujeto con cierto tipo de consecuencias).
Por lo tanto, contingencia significa aquí lo mismo que en CC, sólo que ahora se establece entre una respuesta y un suceso ambiental, en vez de entre dos sucesos ambientales.

 Estímulo discriminativo

Estímulo cuya presencia es informativa sobre la disponibilidad de un consecuente.
Es opcional: no tiene por qué haber un E discriminativo explícito.
Se suele denotar ED o E+ a los estímulos que indican la disponibilidad de un consecuente, y E
o E- a los que informan de su no-disponibilidad.

 Respuesta incondicionada

Es la respuesta natural del organismo al reforzador (por ejemplo, la salivación, deglución,etc. en el caso en que el reforzador es un trozo de alimento).
En general, no juega ningún papel en el condicionamiento operante.
Adquisición
Procedimiento y proceso en el cual se establece una contingencia entre un operante y un reforzador, de forma que la frecuencia de aquél aumenta.
Significado análogo al del CC
Extinción
Procedimiento y proceso en el cual se elimina una contingencia entre un operante y un reforzador, de forma que la frecuencia de aquél decae.
Significado análogo al del CC

Moldeado o moldeamiento (shaping)

Consecución gradual de una R que no estaba presente en el repertorio conductual del organismo (o lo estaba con una probabilidad muy baja) mediante reforzamiento de respuestas que suponen aproximaciones sucesivas a la R deseada.
Tiene gran importancia práctica, ya que es el principal procedimiento de aprendizaje de Rs nuevas.

Tipos básicos de condicionamiento operante

Los cuatro tipos básicos de condicionamiento operante se producen como resultado del entrenamiento de un organismo mediante el establecimiento de una contingencia entre una R. operante y uno de los cuatro consecuentes básicos.
Reforzamiento positivo: Administración de un evento siguiendo contingentemente a una R dada, que tiene como efecto un aumento en la fuerza, la probabilidad o la tasa de ésta. Normalmente se trata de un estímulo apetitivo o de la posibilidad de realizar una conducta de alta probabilidad..
Ejemplo: cada vez que una rata presiona una palanca (R), se le administra como consecuente un trozo de comida; se puede observar que la rata cada vez presiona más frecuentemente la palanca
El tipo de CO que resulta de aplicar sistemáticamente reforzadores positivos a una respuesta se conoce como entrenamiento de recompensa.
Reforzamiento negativo: Omisión o interrupción de un suceso (típicamente, un E aversivo) de forma contingente con la emisión de una R, a resultas de lo cual se produce un aumento en la fuerza, la probabilidad o la tasa de ésta.
Ejemplo: cada vez que una rata se desplaza al lado opuesto de la jaula (R), como consecuente se interrumpe una descarga eléctrica que se le estaba aplicando; se puede observar que la rata cada vez cambia de lado más frecuentemente.
La aplicación sistemática de reforzadores negativos a una R se conoce como entrenamiento de evitación o entrenamiento de escape, dependiendo de si el organismo puede mediante la R llegar a “prevenir” la aparición del E. aversivo (evitación) o sólo puede interrumpirlo, acortando su duración, una vez administrado (escape)
Castigo positivo: Administración de un suceso (en el caso típico, un E aversivo) siguiendo contingentemente a una R dada, que tiene como efecto una disminución en la fuerza, la probabilidad o la tasa de ésta.
Ejemplo: cada vez que una oveja entra en contacto con la cerca en la que está encerrada (R), como consecuente se le administra una descarga eléctrica; se puede observar que la oveja cada vez toca menos frecuentemente la cerca.
La aplicación sistemática de castigos positivos a una R se conoce como entrenamiento de castigo.
Castigo negativo: Omisión o interrupción de un estímulo de forma contingente con la emisión de una R, a resultas de lo cual se produce una disminución en la fuerza, la probabilidad o la tasa de ésta.
Ejemplo: cada vez que una rata que está recibiendo pequeños fragmentos de comida cada 15 segundos toca la pared del fondo de la jaula, se le elimina la siguiente administración de comida que correspondiera; se puede observar que cada vez se acerca menos a dicha pared.
La aplicación sistemática de castigos negativos a una R se conoce como entrenamiento de omisión.

REFORZADOR : Tiende a aumentar la fuerza de la R a la que sigue
CASTIGO :
Tiende a disminuir la fuerza de la R a la que sigue
POSITIVO : Se administra un estímulo
Reforzamiento positivo
Entrenamiento de recompensa.
Ej. : Administrar comida tras la respuesta.
R aumenta.
Se usa una recompensa (estímulo o suceso apetitivo).
Castigo positivo
Entrenamiento de castigo.
Ej. : Administrar descarga tras la respuesta.
R disminuye.
Se usa un estímulo aversivo
NEGATIVO :Se omite un estímulo
Reforzamiento negativo
Entrenamiento de escape
Ej. : Detener una descarga eléctrica tras la respuesta
Entrenamiento de evitación
Ej. : Si se da R, omitir una descarga que se hubiera dado en caso contrario.
R aumenta.
Se usa un estímulo aversivo
Castigo negativo
Entrenamiento de omisión
Ej. : Se deja de dar comida al organismo cada vez que da R.
 Disminuye
Se usa estímulo apetitivo

Entrenamiento de recompensa: Principales factores

Magnitud del reforzador
Aumentos en la cantidad de la recompensa mejoran la actuación.
Aumentos en la calidad producen el mismo efecto. Por ejemplo, usando como reforzador agua azucarada se mejora el nivel de ejecución respecto al uso de agua pura. Caso extremo: los experimentos de Olds con estimulación directa de los centros cerebrales del placer.

Demora de la recompensa
Es el intervalo respuesta-recompensa. Afecta drásticamente al aprendizaje, en el sentido de que a mayor demora, menos RC. A partir de un determinado punto, el organismo no aprende.
Demoras superiores a unos 30 sg. parecen no producir ya CO, aunque hay variaciones entre especies y sistemas de respuesta. Por ejemplo: con ratas, laberintos y comida, la demora tolerada por los organismos para lograr un nivel alto de aprendizaje se sitúa entre 2 sg. y 5 sg.
Sin embargo, en la mayoría de las situaciones se consiguen incluso niveles altos de aprendizaje con demoras mayores, debido a la acción de claves estimulares (e.g., el 'clic' de la palanca) que actúan como reforzadores secundarios o reforzadores condicionados (ver más adelante).

Impulso

Es un constructo teórico que se refiere al estado motivacional del organismo respecto a aquello que vamos a usar como recompensa.
Se mide en términos de porcentaje del peso perdido, nº de horas de privación de agua, etc.
El resultado general es que la actuación es tanto mejor cuanto mayor es el impulso (más peso perdido, más horas de privación, etc.), salvo en casos extremos.

Programas de refuerzo

Hasta ahora hemos considerado sólo el caso en que la realización por parte del organismo de la conducta elegida va siempre seguida de la consecuencia establecida (la probabilidad del estímulo reforzador dada la respuesta operante es igual a 1). Esto (que constituye una contingencia total) es lo que se denomina refuerzo continuo
El refuerzo contínuo no es la única (ni la más eficaz) alternativa para el aprendizaje por CO; por el contrario, constituye sólo un caso muy particular. Los casos en que la relación respuesta-consecuente no es completa (es decir, no cualquier emisión de la respuesta va seguida del consecuente) se denominan situaciones de refuerzo parcial (. Es fácil ver que el refuerzo parcial es lo más común en situaciones naturales (ajenas al laboratorio o la clínica).
Un programa de refuerzo es una regla que especifica exactamente bajo qué condiciones la emisión de la respuesta va a ser seguida del reforzador.
Los programas de reforzamiento son, según muchos autores, una de las variables independientes más poderosas de la psicología, en el sentido de que conociendo el programa concreto administrado a un organismo, se pueden predecir confiablemente muchas cosas respecto a la conducta adquirida.

Programas básicos.

Los programas básicos (también llamados "simples") pueden ser
De razón: se administra el reforzador sólo tras la emisión de un número determinado de respuestas.
De intervalo: se administra el reforzador a la primera respuesta que se produce una vez transcurrido un intervalo de tiempo establecido, contado desde el último reforzador.
A su vez, la razón o el intervalo pueden ser
Fijos : con el mismo valor a lo largo de toda la adquisición
Variables: con distintos valores a lo largo de la sesión, que oscilan en torno a un promedio.
Esto da lugar a los cuatro tipos de programas básicos: RF-n, IF-n, RV-n e IV-n, donde n es el valor de la razón o el intervalo (o su promedio, si es un programa variable).
En la aplicación de un programa de reforzamiento a un organismo que no ha sido objeto de aprendizaje previo, normalmente se comienza por un proceso de moldeado, luego se sigue con reforzamiento contínuo y finalmente se va progresivamente aumentando las exigencias hasta llegar al programa deseado.
 Razón fija
Se administra un estímulo reforzador por cada n respuestas. En un programa RF-10, cada décima emisión de la R va seguida de una recompensa.
Este programa produce una tasa de respuesta típicamente alta y estable. Si la razón es alta, a menudo el organismo se toma pausas inmediatamente a continuación de la administración del reforzador.
Razón variable
Los programas de razón variable son especialmente importantes, ya que (dentro de los simples) son los que más se aproximan a las situaciones naturales.
Un programa RV especifica que el reforzador se administra tras un número de respuestas que varía a cada vez. Así, por ejemplo, en un RV-5 la recompensa se puede administrar tras 7, 3, 11, 2, 3, 5... respuestas, de forma que el promedio total sea 5 respuestas a lo largo de la sesión.
Los programas RV generan la tasa de respuestas más alta (lo que se manifiesta en el registro acumulativo por una gran pendiente) y constante (no aparecen pausas, excepto en el caso de razones muy grandes).

Intervalo fijo
En los programas IF se administra el reforzador a la primera emisión de la respuesta una vez transcurrido un intervalo desde la anterior emisión del reforzador. Es decir, cada reforzador inicia un intervalo en el cual las Rs no son recompensadas.
El organismo aprende a anticipar cuándo va a estar disponible el siguiente reforzador, y progresivamente disminuye su tasa de respuestas al principio del intervalo y la aumenta hacia el final del mismo. Por ello, estos programas terminan por producir un carácterístico registro acumulativo festoneado:
Los programas IF producen una tasa de respuesta global más baja que los de razón, y menos estable debido a las variaciones dentro de cada intervalo.

Intervalo variable
Los programas de intervalo variable son como los anteriores, sólo que el intervalo oscila en torno a un valor promedio.
Dan lugar a una tasa de respuesta moderada que, globalmente, es más o menos igual que la de IF, pero mucho más estable. Al no ser predecible por el organismo la duración del intervalo, no hay diferencias locales de tasa de respuesta (el organismo responde a un ritmo sostenido).
Por este motivo, es un programa idóneo para establecer Rs que se van a emplear como línea base de ulteriores tratamientos o experimentos (en particular, se emplean muy a menudo como punto de partida para el estudio de condicionamiento clásico mediante supresión condicionada -ver tema 3).
En líneas generales, cabe formular las siguientes conclusiones sobre los cuatro programas básicos:
1) Los programas de razón dan lugar a tasas de respuesta más altas.
2) Los programas variables dan lugar a tasas de respuestas más estables (contínuas).
3) En general, los resultados de la investigación con los distintos programas son bastante consistentes de unas especies a otras.

Distinción entre condicionamiento clásico y operante

En el condicionamiento clásico la asociación se da entre un estímulo condicionado y uno incondicionado. En el condicionamiento instrumental, la asociación se da entre las respuestas y las consecuencias que se derivan de ellas.
En el condicionamiento clásico, el estímulo incondicionado no depende de la respuesta del sujeto, mientras que, en el operante, las consecuencias dependen de la respuesta del sujeto.
En el condicionamiento clásico, la respuesta del sujeto es involuntaria, mientras que en el instrumental es generalmente voluntaria.
La distinción entre ambos condicionamientos para los conductistas más radicales es tanto operativa como de procesos:
Operativa, ya que el reforzador depende de la respuesta, de la conducta, por tanto.
Procesual, estando implicado en un caso el sistema nervioso autónomo y en el otro el sistema nervioso central. Esta diferencia no ha sido demostrada experimentalmente.
Estímulos
Lo verdaderamente importante en este tipo de condicionamiento es la respuesta generada ante el estímulo. Cualquier proceso de condicionamiento instrumental admite el uso de estímulos que en condicionamiento pavloviano podrían clasificarse como condicionados, incondicionados o neutros, ya que el análisis no se concentra en ellos sino en las consecuencias de las respuestas, que son las que determinan la probabilidad de que la conducta se repita o no.
En el condicionamiento instrumental los estímulos incondicionados se usan igual que en el pavloviano.

El estímulo incondicionado (EI) es el resultado que sigue a la respuesta (por ejemplo comida, descargas eléctricas...)
También se usan estímulos condicionados (EC), estímulos relativamente inocuos sin significado o poder específico, al menos al comienzo del entrenamiento.
El estímulo discriminativo es un estímulo neutro que indica cuándo la respuesta puede conducir o no a la consecuencia deseada. Es decir, el estímulo discriminativo indica si el reforzador está disponible. Por oposición, el estímulo delta es el estímulo que no estuvo presente cuando la respuesta fue reforzada, y por lo tanto no da información sobre la disponibilidad del reforzador.
Respuestas
La respuesta incondicionada (RI) es la provocada por el EI de forma refleja y que viene determinada por él.
La respuesta condicionada (también llamada respuesta instrumental) suele ser distinta a la RI, siendo bastante arbitraria.
Fases
Las fases de un experimento de condicionamiento instrumental son esencialmente las mismas que en el caso del condicionamiento clásico:
Adquisición
Extinción

Programas de reforzamiento

Un programa de reforzamiento es una regla sobre la administración del reforzador. Existen programas de reforzamiento de dos tipos: de razón (en función de la respuesta) y de intervalo (en función del tiempo), y cada uno admite una administración fija o variable.
En un programa de razón fija se administra un reforzador cada cierto número de respuestas. Un programa RF1, por ejemplo, da un reforzador por cada respuesta. El RF2 da un reforzador por cada dos respuestas.
El programa de razón variable administra reforzadores cada cierto número de respuestas. Pero en este caso, este número no es fijo, sino que varía alrededor de un promedio. RV3 da una respuesta cada 2, 3 ó 4 respuestas, aproximadamente (y aleatoriamente).
Un programa de intervalo fijo implica un período siempre igual durante el cual no hay disponibilidad del reforzador, período que se inicia justo después de la presentación de la respuesta criterio (es decir, aquella de interés). El hecho de que el sujeto emita o no respuesta alguna durante el transcurso del intervalo no modifica el ritmo de administración de los reforzadores.
El programa de intervalo variable hace que el período durante el cual no está disponible el reforzador cambie alrededor de un promedio.
Por lo general, los programas de tasa (razón) producen una adquisición más rápida, pero fácilmente extinguible una vez suspendida la administración de reforzadores; y los de intervalo producen una adquisición más estable y resistente a la extinción.