Du bannissement de la récompense "alimentaire"!

Ken Ramirez Seminar: Non-Food Reinforcers
One of the big objections people have to clicker training is “all that food.” They always want to know when they can stop using it, an attitude that used to baffle me. I mean, I get that people who are active in dog sports need their dog to perform many behaviors for a single treat, but when there are no rules, what's the problem? It's not hard to stick a handful of kibble in your pocket, after all.

Well. Leave it to Ken to not only be entertaining, but to also convince me that non-food reinforcers are both valuable and necessary (mostly because it is much easier to perform husbandry behaviors on a sick animal who is refusing to eat when you have a non-food reinforcer available). He also presented a very thorough method for creating non-food reinforcers, and gave us some tips on how we should and shouldn't use them once they've been established.

Let's start at the beginning: what are non-food reinforcers? Well, obviously, they're not food, but Ken was a bit more scientific than that. When Ken talked about reinforcers, he broke them down into two categories: primary reinforcers and secondary reinforcers. A primary reinforcer is something that is inherently reinforcing; the animal doesn't need to have any experience with it to understand that it is a good thing. Typically, these reinforcers satisfy biological needs, and food is the ultimate primary reinforcer (that's why it is so useful in training). By contrast, secondary reinforcers are something the animal needs to learn is desirable.

Despite the fact that secondary reinforcers are learned, Ken made the point that secondary reinforcers can be very, very powerful. In fact, they can sometimes be more powerful than primaries because of what they represent. For example, money is a secondary reinforcer- the paper itself has no inherent value. However, society teaches us that money is a desirable thing because of what it can buy, and this association is so strong that humans will do some very boring or unpleasant tasks in order to obtain it. In fact, we are more likely to take a job that pays money than one that provides food and shelter.

(As a side note, play can be looked at as both a primary and a secondary reinforcer. Often the act of playing- running or chasing, for example- is innate, making it a primary reinforcer. However, the objects used in play, like balls or tug toys, are secondaries because the dog needs to learn what they are used for. A ball that is not thrown is neither interesting nor reinforcing to most dogs.)

Another way to think of secondary reinforcers is as a “reinforcement substitute,” which emphasizes the fact that secondary reinforcers only become powerful through conditioning. Ken is very, very systematic in the way that he creates secondary reinforcers. His approach is so thorough and slow, in fact, that I suspect some readers will be turned off by it. This is partly because he's found that the more time you spend conditioning them, the more powerful they will be, but also because he believes that if you use secondary reinforcers improperly, it can lead to a lot of frustration. Since frustration is sometimes inherent in training, he tries to minimize it whenever possible, something which is both kind to the animal and practical when working with wild animals who are less tolerant of human mistakes than the domesticated dog.

Ken creates secondary reinforcers in almost exactly the same way he trains a behavior. He starts by choosing a stimulus to act as a reinforcer. This stimulus should be one that is useful- that is, it is easily accessible, and not overly cumbersome to implement. He also thinks it works well to use something that is novel to the animal; choosing something the animal has habituated to and now ignores is going to make things much more difficult. One of his favorite secondary reinforcers is clapping.

Then he does straight-up classical conditioning: he presents the chosen stimulus, and then immediately follows it with a primary reinforcer. So, he claps, and hands over a bit of food. Clap, food, clap, food, until the animal seems to understand that the clapping predicts the food. This shouldn't take long at all unless the animal finds the stimulus aversive (if the animal is sound-sensitive, for example), or if your primary isn't that exciting.

Then he asks the animal for an easy, well-established behavior. This is something the animal already knows well, and has a very strong reinforcement history for. In dogs, the behavior of sit is often a good choice. When the animal does the behavior, the trainer will present the new stimulus, and then give a primary. For example, the dog sits, the trainer claps, and then he gives a treat. Ken will do this daily for several weeks, although the length of time will vary based on the animal, his relationship to the trainer, and his past reinforcement history.

The next step is to cue the same easy, well-established behavior, and then reward with only the new stimulus. Here, it is truly acting like a reinforcement substitute, as the dog will sit and receive only clapping as his reward. Ken will do this a maximum of three times during a training session, and he'll spread it out so that the animal is also getting primary reinforcers for other correct responses in between. Again, he'll stay at this step for several weeks.

This cycle repeats, except now Ken will cue a harder behavior, though it should still be well-established. When the animal responds, he'll give the new stimulus, and follow it by a primary. So, he'll cue, for example, a roll over or a stay, clap, and then give a treat. He stays at this level for several weeks before cuing the harder behavior and using the stimulus as a reinforcement substitute. Again, he continues doing this for several weeks.

Once this process has been completed, you're ready to use your new reinforcement substitute in training... but Ken has a few rules before you do. The most important is the 80/20 rule, which is actually more of a guideline, but basically, he says that you should use primaries approximately 80% of the time, and secondaries approximately 20% of the time. He never uses the same secondary reinforcer twice in row, although he might use two separate secondaries in a row. He always treats the new secondary as a behavior and occasionally “recharges” it so that it retains its strength. Finally, he recommended that novice trainers use secondaries only to maintain existing behaviors, and not to create new ones.

Yes, this is a very regimented way of moving away from food reinforcers, but Ken has a very convincing story to support the importance of being so systematic. It involves a new trainer trying to use tongue scratches to reward a killer whale, with a very poor result. I won't spoil the story for you (and Ken tells it so much better than me anyway), but trust me when I say that I completely understand why Ken is so thorough. His advice is that we never take any reinforcer for granted, and to work to build up as many reinforcers, both primary and secondary, as possible.

If you've found any of this even remotely interesting, you totally need to see Ken speak about it. Imagine this information, only peppered with incredibly funny and informative stories about dolphins, seals, penguins, and yes, even some dogs. He's also got illustrative videos, and I always enjoy seeing familiar concepts used with exotic creatures.

What about you guys? Has anyone used such an in-depth process to create secondaries? Do you see value in doing it with your dogs? What types of non-food reinforcers do you use... or would you like to start using? I'd love to hear your thoughts!
Posted by Crystal (Thompson) Barrera at 1:40 PM

La friandise, cette incomprise
juillet 13, 2016

Je suis souvent stupéfaite par la mauvaise compréhension (et donc utilisation) du renforçateur – parfois appelé à tort « récompense » (parce que, parfois, on ne récompense rien, on crée tout simplement des associations) – systématiquement interprétée par ses (nombreux) détracteurs comme un chantage au comportement (« regarde ça, Chien, j’ai un bonbon – si tu fais x y ou z, tu auras ce bonbon…. sinon rien ⇐ chantage).

Pas très étonnant quand on constate que, culturellement, c’est ce qui nous conditionne dès notre plus jeune âge (tu travailles à l’école = bonne note, tu ne travailles pas = mauvaise note, avec, très souvent, des résultats mitigés voir désastreux d’ailleurs).

Généralement, la friandise chantage apparaît chez le propriétaire exaspéré par la passivité de son chien, elle est une solution immédiate et facile. Surtout facile. Je l’ai déjà comparée à ces mamans qui finissent la phrase de leur gosse… ou qui attachent vite ces chaussures que le petit n’arrive pas encore tout à fait à attacher : elle n’est pas enseignement (même si, parfois, on le fait parce que le moment n’est pas venu d’enseigner, pour une raison ou une autre et c’est légitime).

La différence principale entre une friandise « chantage » et une friandise « conséquence » se situe dans une dimension de pouvoir. Si j’ai ma friandise en main et que je la montre au chien – elle devient l’information principale au sujet d’un comportement que je vais demander – je garde tout le pouvoir dans mes mains (c’est le cas de le dire) car la friandise ne sera pas dispensée si le chien n’exécute pas.

En définitive, c’est l’humain l’unique acteur, le chien se contente de subir de manière complètement passive – comme en tant d’autres occasions (la dite « éducation du chien » n’étant – et de très loin – pas notre unique prise de pouvoir sur celui-ci).

Quand, au contraire, le chien a clairement intégré que tout bon comportement fait arriver un renforçateur (friandise mais, évidemment, pas que…) – il récupère ce pouvoir « je sais que certains comportements volontaires de ma part vont m’apporter quelque chose d’agréable » – moi, Chien, j’ai donc le pouvoir de faire apparaître des bonnes choses et la possibilité de faire des choix éclairés (parce que j’ai compris comment ça fonctionne).

Si je fais assis, je vais pouvoir aller jouer avec mes potes, si je marche au pied je suis parfois payé tous les deux pas ou dix ou cinq – cette marche au pied reste quelque chose d’éminemment intéressant.

Créer la motivation au travail par le renforcement positif est tout à fait un autre engagement, demande de la technique, des connaissances en apprentissage, de la réflexion et, surtout, du temps. Le chien qui a intégré – et sait – que tout bon comportement sera renforcé voit toute demande de son éducateur comme une opportunité d’obtenir ce qu’il souhaite obtenir.

Il est avant tout indispensable de créer cette connexion entre le fait d’exécuter un comportement et l’apparition du renforçateur. Tant que ce prérequis n’est pas intégré, la communication n’est pas établie et vous parlez tout seul.


Ce à quoi, certains me rétorqueront que le chien « obéit » (je continue à mettre des guillemets car l’obéissance n’est pas pour moi le but à atteindre mais plutôt une collaboration) – c’est uniquement pour obtenir cette friandise. Sauf que, tout être vivant fait ce qu’il fait en raison des conséquences de son comportement. Si vous appuyez sur le bouton rouge de votre machine à café et qu’un bon café chaud s’en suit, le bouton rouge devient un moyen valable d’arriver à quelque chose que vous souhaitez obtenir (un café), cet apprentissage sera intégré. Si, malgré vos tentatives répétées, aucun café ne vient plus jamais…. vous allez abandonner ce bouton rouge (et en essayer un autre car, sur ce nouveau modèle, c’est le bouton bleu qui active l’arrivée de votre café).

Si en appuyant sur le bouton rouge vous obtenez une secousse électrique plutôt qu’un café, il est plus que probable que vous ne touchiez plus à ce bouton rouge (et il est éminemment probable que vous n’oserez même plus toucher à un autre bouton d’ailleurs, par peur de subir une autre décharge). Que votre chien exécute parce qu’il sait qu’une friandise arrive ou qu’une punition arrive, c’est toujours de l’apprentissage via les conséquences de son comportement (agréables ou désagréables), quelle différence ? La différence se situe dans l’émotionnel – apprendre dans le but d’échapper à une punition ou dans l’attente confiante de quelque chose d’agréable, que choisiriez-vous personnellement ? Peur ou confiance, tout est là….

Pour moi, un chien qui « désobéit » – donc qui n’exécute pas un comportement quand on le lui demande (ce que beaucoup appellent « donner un ordre ») – c’est un chien qui n’a pas fait la relation entre le comportement et le renforçateur et, avant d’y voir une quelconque forme de rébellion ou de mutinerie, j’y vois un apprentissage inabouti, tout simplement. C’est une information que me donne le chien – ou alors, si l’apprentissage est abouti ailleurs – je peux constater que l’environnement empêche le chien de faire ce que je lui demande de faire. Se mettre couché dans le jardin, n’est pas du tout pareil que de se mettre couché proche de l’autre chien qui me fait peur.

C’est donc une opportunité que vous donne votre animal de remettre votre apprentissage en question – se remettre en question, avant de remettre l’animal en question, est l’unique voie vers la considération.

Nous avons besoin de toute la communication possible avec nos animaux car il est impossible de leur demander « hey, Chien, comment tu te sens là tout de suite, tu gères ? ». Donc, le fait que le chien ne produise pas un comportement dans un contexte est une information utile au sujet de mon chien dans ce contexte très précis (et je sais que la généralisation doit encore être travaillée ou la proximité avec un autre chien).

Plus nous annulons de comportements par la punition ou l’intimidation et plus nous appauvrissons cette communication – ce qui ne peut qu’être dommageable et donne, ensuite, ces chiens qui produisent un quelconque comportement, morsure comprise, «sans raison » – alors que la raison est évidente pour le chien et obscure pour ceux qui auront choisi de tyranniser sans comprendre, d’imposer plutôt que d’observer et considérer, de monologuer plutôt que dialoguer.

Happy Training ☺