16 February 2011

Diving in manipulations: asymmetric bimanual interactions

Back to the blog after a few weeks off ! In a previous post, we talked about the future of manipulations in NUI and the key role of tools. In this post we’re going to see how we interact with our tools and we’ll talk about the key role played by asymmetric bimanual interactions.

What kinds of interactions ?
First, we should note that manipulation of tools by human beings is often realized with hands. It can seem obvious but this isn’t an absolute rule: try to drive a car without using your feet… Anyway, for this post we’ll focus exclusively on manual interactions.

Different kinds of manual interactions
Human beings interact with tools in many different ways but for this post, we’ll retain a simple classification:
  • Interactions realized with one hand (unimanual interactions)like turning a door-handle, …
  • Interactions realized with two hands (bimanual interactions), which can be divided in:
    • Symmetric bimanual interactions like rope skipping, riding a bicycle, driving a car with 2 hands handling the steering-wheel, …
    • Asymmetric bimanual interactions like playing guitar, eating with knife and fork, driving in a nail, writing, …
At first, writing can seem a strange example of bimanual interaction. Don’t we use only one hand to hold and move a pen ? But if you think about it, the importance of the second hand becomes obvious: this hand is required to immobilize the sheet of paper while the other hand writes. But this hand is also useful to move the sheet of paper in order the other hand stays at the same place on the desktop. You’ll see a perfect sample in following video.

Observation of human activity shows that asymmetric bimanual interactions play a key role in our life. Most skilled manual activities involve two hands playing different roles.

Asymmetric bimanual interactions : the kinematic chain model (Y.Guiard)
Asymmetry in bimanual interactions is not a new subject, but for a long time, it has been considered that this lateralization was caused by preference or superiority of one hand. In 1987, Journal of Motor Behavior published an article written by Yves Guiard, researcher at CNRS, called “Asymmetric Division of Labor in Human Skilled Bimanual Action: The Kinematic Chain as a Model”.This article, famous in academic domain, remains quite undiscovered in software industry and this is a pity. Main idea of this article is that, considering asymmetric bimanual interactions, we shouldn’t oppose the 2 hands but we should consider these two hands as two abstract motors cooperating and acting together to reach a goal.

Y.Guiard proposes 3 principles to characterize asymmetric bimanual interactions:

Principle 1: Right-to-Left Spatial Reference in Manual Motion
Let’s  consider that you’re right-handed. According to this principle, motions of right hand find their spatial references in the results of motions of left hand. This is verified when your left hand moves and immobilizes the sheet of paper before your right hand starts to move the pen in order to write. Let’s have a look to the following picture, showing a balinese craftsman carving a traditional mask. First principle is still verified.

The left hand defines a referential for the right hand which activates the tool (left hand positions and immobilizes the mask. Left hand also stabilizes the tool). You’ll notice that legs and feet are also used in this interaction to help the left hand…

Principle 2: Left-Right Contrast in the Spatial-Temporal Scale of Motion
According to this principle, patterns of motions realized by the two hands show a contrast on spatial and temporal axis. On spatial axis, right hand realizes shorter and more accurate movements. For example, this is the case of right hand writing while left hand shifts the sheet of paper. On temporal axis, right hand realizes movements with a greater frequency. For example, this is the case of your right hand realizing many short movements to write, while your left hand moves at a lower frequency (to shift the sheet of paper).

Principle 3: Left-Hand Precedence in Action
According to this principle, left hand’s contribution to current action starts earlier than that of the right hand. For example, this is the case of your left hand which moves and immobilizes the sheet of paper before your right hand starts to write.

A few additional & personal thoughts
Tools, asymmetric bimanual interactions & interaction patterns
Let’s have a look to this specific scenario: manipulation of a tool to transform an object, with asymmetric  bimanual interactions. Even if some others patterns can be found, I’d say the most common pattern is:
  • Left hand defines and stabilizes position and orientation of the object we want to transform. Incidentally, it also helps to stabilize position and orientation of tool. The left hand decreases number of degrees of freedom of  the object and of the tool. According to Y.Guiard’s model, left hand defines a referential for right hand.
  • Right hand defines position and orientation of tool, activates this tool (it transfers energy) and controls amplitude of motion.
This pattern can be divided in two stages :
  • Preparation of object and tool (left hand and right hand can be used)
  • Transformation of object after activation of tool (right hand is used)
Tools and cyclic interactions
In our everyday life, manipulations of tools with asymmetric bimanual interactions are often cyclic: pattern is repeated several times before we reach our goal.

Asymmetric bimanual interactions &  expertise
Observation of people realizing a task with different levels of expertise is interesting when you take into account the framework defined by Y.Guiard. It shows that we can defines different stages of expertise.

Stage 1 : Easing of Principle 2 (Left-Right Contrast in the Spatial-Temporal Scale of Motion)
After some practice, agility of left hand increases a lot (temporal frequency increases, spatial accuracy increases), often more than agility of right hand. For example, let’s think about a guitarist, a beginner one. Left hand defines chords while right hand transfers energy to strings in order to create sounds.

After some practice, agility of the two hands increases, but except for totally arrythmic people, main initial progression will be the increase of left hand agility to “concatenate” chords. Till the right tempo is reached.

Stage 2 : Inversion of hands in principle 1 (Right-to-Left Spatial Reference in Manual Motion)
We all have a preferred hand, which seems more accurate, more skilful. We often use this hand for accurate operations. But, as stated by Y.Guiard, we shouldn’t think this way. Anyway, experience shows that after some practice, we can invert the usual role of our hands. If you watch the following video (from 0’40 to 2’00), you’ll  notice what I’d name (improperly) a “reversed asymmetric bimanual interaction”.

Newton Faulkner - Guitar 'tutorial' session
envoyé par pandaa_one. - Regardez d'autres vidéos de musique. 

The guitarist uses a technique called « hammer-on », which consists to tap the string with the left hand. Transfer of energy is no more realized by right hand, like in classical technique. If you think again to the three principles defined by Y.Guiard, you’ll see that with this technique, it seems the roles of the 2 hands have been inverted.

Stage 3 : Chaining serialized and parallelized interactions
Watch again the previous video (from 2’00 to 3’30). You’ll see a “reversed asymmetric bimanual interaction” and an unimanual interaction realized in parallel…

To conclude
Asymmetric bimanual interactions play a key role in interactions with our environment. Their importance is not enough reflected in existing Human/Computer interfaces. Let’s hope Natural User Interfaces won’t lose the opportunity…

Post scriptum
Y.Guiard is Directeur de Recherche at CNRS TELECOM-ParisTech. His works are a great source of inspiration for everybody interested in human-computer interactions, from study of Fitts’ law applied to multiscales spaces to the definition of new types of interactions for tactile surfaces like the CycloStar approach.

Allons un peu plus loin avec les manipulations: les interactions bimanuelles asymétriques

Après quelques semaines d’absence, retour au blog ! Dans un précédent post, nous avons parlé de l’avenir des manipulations au sein des NUI et du rôle que la notion d’outils pourrait y jouer. Nous allons aujourd’hui continuer sur ce chemin en regardant de plus près comment nous interagissons avec nos outils.

Quels types d’interactions ?
Le premier point à noter est que la manipulation d’outils chez l’être humain s’effectue majoritairement à l’aide des mains. Ca peut paraitre une évidence mais ça va toujours mieux en le disant. De plus ce n’est pas une règle absolue: essayez donc de conduire une voiture sans utiliser vos pieds... Quoi qu’il en soit, pour la suite de ce post, nous nous intéresserons exclusivement aux interactions manuelles.

Les différents types d’interactions manuelles
Les manières d’interagir avec nos outils sont nombreuses, mais pour cette première approche, nous retiendrons une classification assez simple :
  • Les interaction réalisées à l’aide d’une seule main (interactions unimanuelles) : tourner la poignée d’une porte, …
  • Les interaction réalisées à l’aide de deux mains (interactions bimanuelles), que l’on peut encore distinguer en:
    • Interaction bimanuelles symétriques : sauter à la corde, faire du vélo, conduire sa voiture avec les 2 mains sur le volant, …
    • Interactions bimanuelles asymétriques: jouer de la guitare, manger à l’aide d’un couteau et d’une fourchette, planter un clou, écrire,  …
L’action d’écrire comme exemple d’interaction bimanuelle peut sembler étrange au premier abord. N’utilise t’on pas une seule main pour tenir et déplacer son stylo ? Pourtant, si vous y regardez de plus près, l’importance de la seconde main devient évidente : cette main est non seulement indispensable pour immobiliser la feuille pendant que l’autre écrit mais elle sert également à déplacer régulièrement la feuille sur le plan de travail afin que la première main puisse rester localisée au même niveau du plan de travail. Ceci est parfaitement illustré dans la vidéo suivante.

L’observation de l’activité humaine montre que les interactions bimanuelles asymétriques jouent un rôle de premier plan. En effet, nos activités les plus évoluées impliquent souvent l’utilisation des deux mains, chacune ayant un rôle spécifique. Il parait donc judicieux de nous intéresser de plus près à ce type d’interaction.

Interaction bimanuelles asymétriques : le modèle de la Kinematic Chain (Y.Guiard)
La notion d’asymétrie dans les interactions bimanuelles n’est pas un sujet nouveau mais pendant longtemps, cette séparation des rôles entre les deux mains a été expliquée en terme de préférence ou de supériorité d’une main par rapport à l’autre.

En 1987, le Journal of Motor Behavior  publiait un article d’Yves Guiard, chercheur au CNRS, intitulé “Asymmetric Division of Labor in Human Skilled Bimanual Action: The Kinematic Chain as a Model”. Cette contribution, populaire dans le monde académique, reste assez méconnue du monde de l’industrie informatique et c’est bien dommage. L’idée force introduite par Y.Guiard dans cet article est que dans le cadre des interactions bimanuelles asymétriques, les 2 mains ne devraient pas être « mises en compétition » mais devraient être considérées comme 2 effecteurs coopérant et agissant de concert pour remplir un objectif. 

Y.Guiard propose 3 principes permettant de caractériser les interactions bimanuelles asymétriques.

Principe 1: Relativité spatiale  des mouvements de la main droite par rapport aux mouvement de la main gauche
Considérons par convention que vous êtes droitier. Selon ce principe, les mouvements de la main droite s’effectuent dans un référentiel défini auparavant par la main gauche. C’est par exemple le cas de la main gauche qui bouge puis immobilise la feuille de papier avant que la main droite ne commence à déplacer le stylo pour écrire. Si nous observons la photo suivante d’un artisan balinais sculptant des masques traditionnels, nous voyons que ce principe est encore vérifié.

La main gauche définit un référentiel pour la main droite qui active l’outil (elle positionne et immobilise le masque et stabilise également la direction de l’outil). Soit dit en passant, vous observerez que les jambes et les pieds trouvent également toute leur place dans cette interaction, en complément de la main gauche…

Principe 2: Contraste dans l’échelle spatio-temporelle des mouvements des mains Droite/Gauche
Selon ce principe, les patterns de mouvement des mains droite et gauche présentent une différence d’échelle dans l’espace et dans le temps. D’un point de vue spatial, la main droite effectue des mouvements plus courts et plus précis que la main gauche. C’est par exemple le cas de la main droite qui écrit alors que la main gauche repositionne la feuille de papier. D’un point de vue temporel, la main droite effectue des mouvements à une plus grande fréquence que la main gauche. C’est encore le cas de la main droite qui, pour écrire, réalise un nombre élevé de mouvements entre deux déplacements de la main gauche qui repositionne la feuille de papier.

Principe 3: Précédence de la main gauche dans l’action
Selon ce principe, la contribution à l’action de la main gauche démarre avant celle de la main droite. C’est par exemple le cas de la main gauche qui doit repositionner et immobiliser la feuille de papier avant que la main droite ne commence à écrire avec le stylo.

Quelques considérations additionnelles personnelles

Outils, interactions bimanuelles asymétriques & patterns d’interactions
Arrêtons  nous un moment sur le cas particulier de la manipulation d’un outil, par interactions bimanuelles asymétriques, pour transformer un objet. Je serai assez tenté de dire que même s’il existe certainement d’autres patterns, le plus répandu me parait être :
  • La main gauche définit et stabilise la position et l’orientation de l’objet à transformer. Accessoirement elle sert également à stabiliser la position et l’orientation de l’outil. Elle permet donc de diminuer le nombre de degrés de libertés de l’objet à transformer voire également ceux de l’outil . Conformément au modèle d’Y.Guiard, elle définit donc bien un référentiel pour la main droite.
  • La main droite définit la position et l’orientation de l’outil, active cet outil (transfert d’énergie) et contrôle l’amplitude de mouvement.
Ce pattern est composé de 2 phases :
  • Phase de préparation de l’objet et de l’outil  (implique la main gauche et la main droite)
  • Phase de transformation de l’objet par activation de l’outil (implique la main droite)
Outils & interactions cycliques
Dans la vie courante, la manipulation d’outils à l’aide d’interactions bimanuelles asymétriques est le plus souvent cyclique: le pattern est répété plusieurs fois avant d’atteindre l’objectif de l’action.

Interactions bimanuelles asymétriques &  expertise
L’observation de personnes accomplissant une tâche avec différents niveaux d’expertise est intéressante car rapportée au cadre défini par Y.Guiard, elle permet  de mettre en exergue plusieurs paliers d’expertise.

Palier 1 : Atténuation du principe 2 (Contraste dans l’échelle spatio-temporelle des mouvements des mains Droite/Gauche)
Au fur et à mesure d’une pratique répétée, l’agilité de la main gauche augmente (la fréquence temporelle augmente, la résolution spatiale augmente). Prenons l’exemple d’un guitariste débutant. La main gauche plaque les accords pendant que la main droite transmet de l’énergie aux cordes pour créer le son.

Au fil de sa pratique, le guitariste va certes voir l’agilité de ses 2 mains augmenter, mais à part les arythmiques patentés, la principale progression au début de sa pratique sera celle de la main gauche qui devient de plus en plus agile dans l’enchainement des accords(augmentation de la fréquence temporelle, augmentation de la résolution spatiale) jusqu’à obtenir le tempo désiré.

Palier 2 : Inversion des mains au sein du principe 1 (Relativité spatiale  des mouvements de la main droite par rapport aux mouvements de la main gauche)
Usuellement, nous avons tous une main « préférée », qui nous semble plus précise, plus adroite. C’est souvent la main que nous utilisons pour réaliser les opérations de « précision ». Et pourtant comme le souligne Y.Guiard, nous ne devrions pas penser les interactions bimanuelles asymétriques en ces termes. L’expérience montre d’ailleurs qu’avec de la pratique, le rôle de chaque main peut être inversé. Si vous visionnez la vidéo suivante (entre 0’40 et 2’00) vous verrez un bon exemple de ce que je serai assez tenté d’appeler (improprement) une « interaction bimanuelle asymétrique inversée ».

Newton Faulkner - Guitar 'tutorial' session
envoyé par pandaa_one. - Regardez d'autres vidéos de musique.

Ici, le guitariste utilise la technique dite de hammer-on consistant à taper la corde avec la main gauche. La transmission de l’énergie aux cordes n’est plus effectuée par la main droite comme dans le jeu classique mais par la main gauche. En fait, si vous repensez aux 3 principes définis par Y.Guiard, vous verrez que tout se passe comme si le rôle des 2 mains avait été inversé par rapport au jeu classique.

Palier 3 : Enchainement séquentiel et parallèle de différents types d’interactions
Visionnez encore la vidéo précédente entre 2’00 et 3’30. Vous pourrez y observer une « interaction bimanuelle asymétrique inversée » et une interaction unimanuelle effectuées en parallèle.

Les interactions bimanuelles asymétriques occupent une place primordiale dans le répertoire des interactions avec notre environnement. Leur importance est assurément trop peu prise en compte dans nos interfaces homme/machine actuelles. Il ne reste plus qu’à espérer que les Natural User Interface ne rateront pas le coche.

Post scriptum
Y.Guiard est aujourd’hui Directeur de Recherche du CNRS au sein de TELECOM-ParisTech. Ses travaux sont une source d’inspiration pour toutes les personnes s’intéressant aux interactions homme machine, allant de l’étude de la loi de Fitts dans les espaces multi-échelles à la définition de nouveaux types d’interactions pour les surfaces tactiles comme l’approche CycloStar.