En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour vous proposer des services et offres adaptés à vos centres d’intérêts.FERMER  x
Pour en savoir plus et paramétrer les cookies...

À la recherche des remplaçants du clavier et de la souris

Avant de nous doter d'outils facilitant une interaction plus naturelle avec les systèmes informatiques omniprésents, les chercheurs ont de nombreux obstacles à franchir.

sommaire

Voir tout le sommaire  
En mai dernier, l'Inria a placé son logiciel Openvibe sous licence libre (LGPL). La caractéristique de ce logiciel ? Il interprète les signaux neuronaux collectés à l'aide de capteurs posés sur la surface du crâne. Son objectif ? Arriver, un jour, à interagir par la pensée. Dans le domaine de l'informatique, cela devrait conduire à se passer des dispositifs qui ornent aujourd'hui presque tous les bureaux : la souris et le clavier.
Car pour le moment, on n'a pas encore réussi à faire mieux. On a beaucoup misé sur la reconnaissance vocale. Les avancées considérables dans ce domaine (les taux de réussite atteignent près de 100 %) n'ont pourtant pas permis à cette technologie de rencontrer le succès escompté. Elle devait pourtant être l'une des clés du succès de l'internet mobile, en offrant la possibilité de tout faire (acheter ou vendre des actions, afficher un plan de la ville...) y compris en conduisant. Grâce à elle, Au bureau, de nombreuses étapes de saisie d'informations auraient ainsi été supprimées. Finalement, cette technologie a quelque peu percé dans les applications médicales, domaine dans lequel elles ont été initialement introduites, dans les entrepôts et dans les serveurs vocaux, où l'on s'aperçoit toutefois que la pression de touches reste souvent plus efficace pour le choix d'options que l'énoncé vocal de ces mêmes options.

Le clavier reste encore souvent préféré à la souris

Les problèmes de performance ne sont pas vraiment en cause. La faible adoption de nouveaux modes d'interaction relève plus de freins liés aux habitudes comportementales, à la précision atteignable et à l'importance des risques d'erreur. Entre aussi en ligne de compte l'environnement dans lequel l'interaction a lieu. Difficile, par exemple, de dicter un long texte sans perturber ses voisins ou, plus généralement, sans subir d'éventuelles interactions tierces. Difficile aussi de distinguer une commande d'une information de contenu. Alors que la séparation traitement-données est un point clé résolu depuis longtemps pour ce qui touche à la communication avec un système, via un clavier et une souris.
Pourtant, en environnement bureautique, combien de temps passe-t-on à chercher sa souris ?" ou plutôt sa représentation à l'écran ?" et à l'amener ensuite au bon endroit pour enchaîner sur une nouvelle opération ? En fait, nombre de personnes, et notamment les développeurs devant coder, utilisent plus le clavier que la souris, mémorisant des raccourcis et des séquences particulières, préférant souvent la ligne de commande pour éviter de créer une rupture au sein de leur action ou du processus auquel ils participent. Pour d'autres applications, de navigation en 3D ou de CAO par exemple, la souris se révèle là encore limitée. C'est pourquoi ont été inventés des systèmes exploitant des interactions proches de mouvements naturels, tels le Maglev ou le Spacenavigator. Plus généralement, de nombreuses applications mériteraient des interfaces plus conviviales, plus interactives. Parmi lesquelles la conception par assemblage, la simulation, l'exploration de données ou de présentation, etc. Pour cela, rien de tel qu'un espace d'affichage de grande dimension tel qu'un grand écran placé verticalement, (voire un mur sur lequel est projetée une image), ou horizontalement (sur lequel il est alors possible de poser des objets capables d'interactions), ou incliné (pour réduire les efforts faits par l'utilisateur).

Détecter les interactions puis les interpréter

Reste à imaginer la façon d'interagir avec l'information délivrée par ce dispositif. Là interviennent plusieurs technologies plus ou moins adaptées selon l'environnement et les besoins en matière de degré de précision, de portabilité du dispositif, d'encombrement spatial, de complexité de l'interaction, et dont le coût et la consommation peuvent aussi représenter des caractéristiques importantes. Un certain nombre de moyens existent pour détecter le mouvement ou pour capturer une action réalisée par l'utilisateur. On peut se servir de systèmes à base de caméras, qui détecteront des mouvements dans l'espace ou sur un support translucide sur lequel sont projetées les informations, comme dans le cas de la table Surface, de Microsoft.
D'autres techniques existent, dites résistives ou capacitives, qui, intégrées à des écrans (tactiles) détectent une pression opérée par un doigt ou autre système plus précis comme un stylet. On peut aussi faire appel à l'acoustique pour calculer l'endroit où une surface ?" sur laquelle est positionnée ou projetée la représentation d'un clavier ou de n'importe quelle image figurant une interface ?" a été tapée et en déduire l'action voulue par l'utilisateur. C'est la spécialité de Sensitive Object, une start up française issue du Laboratoire d'ondes acoustiques du CNRS. D'autres technologies, comme l'infrarouge ou les champs magnétiques, sont aussi utilisées. Et certaines sont même mixées afin d'obtenir une meilleure précision ou afin de capter d'autres informations (intensité de la pression, mouvements sur d'autres degrés de liberté...).

Les potentialités du multi-touch

On sait donc détecter des interactions. Encore faut-il leur donner un sens. Lorsque le doigt est utilisé comme une souris, pour pointer un endroit de l'interface par exemple, on ne se pose pas la question de la signification de cette action : pointage, clic, double-clic, et toutes les combinaisons de ces actions ?" avec éventuellement certaines pressions de touches ?" sont déjà codifiées. Là où les difficultés commencent, c'est quand l'interface, dite multi-touch (ce qui est souvent traduit en français par multi-point ou multitactile), est capable de reconnaître l'utilisation de plusieurs doigts. Un champ immense de nouvelles interactions s'ouvre à l'utilisateur. Inter-actions qui n'ont pas encore toutes été imaginées. La première utilisation, dont il a largement été fait la publicité, est la capacité de zoomer, d'opérer des rotations, d'intervenir en fait sur l'interface en tant qu'image. Mais ces actions sont tout à fait transposables dans des opérations de navigation, pas forcément dans un espace en trois dimensions, mais par exemple dans des données multidimensionnelles, afin de changer d'axe d'analyse ou zoomer sur une information, entre autres.
De nombreux éditeurs commerciaux et développeurs open source travaillent ainsi à développer des couches d'exploitation de cette fonctionnalité, voire des applications métier spécifiques entières. Sans trop se concerter, pour l'instant. Il manque donc encore une grammaire du multi-touch. Ce qui empêche l'émergence d'applications exploitant cette fonction, qu'elle soit appliquée directement à un écran tactile ou à un périphérique de saisie, comme le trackpad des portables d'Apple, par exemple.

L'intervention d'ergonomes dans la conception des OS

Là encore, les éditeurs de systèmes d'exploitation (Mac OS et Linux le proposent déjà, Windows l'intégrerait dans sa version 7) et de pilotes devraient collaborer, entre eux mais aussi avec des ergonomes, pour définir ce que signifient des actions telles que faire glisser deux doigts dans telle ou telle direction, utiliser trois doigts, laisser un doigt fixe et en faire bouger un ou deux autres, tapoter simultanément avec plusieurs doigts, etc. Quitte à laisser ensuite, comme c'est le cas pour les souris, la liberté aux utilisateurs avertis de changer les paramètres par défaut de leur dispositif. Un autre axe d'amélioration des interfaces homme/machine (IHM) proposées aux utilisateurs concerne le retour d'informations, qui peut aller jusqu'au rendu de sensations. Comme le retour de force s'est imposé dans les volants et autres manettes de jeu pour favoriser l'immersion dans l'application, on attend de certaines interfaces qu'elles renvoient des informations. Ne serait-ce que pour valider ?" c'est particulièrement utile lorsque l'interface est un peu longue à la détente ou que le dispositif ne permet pas un positionnement très précis ?" la prise en compte de l'action de l'utilisateur.
Lorsque ce principe est implémenté, c'est le plus souvent grâce un retour sonore ou visuel (par exemple un zoom sur la touche effectivement pressée sur le clavier virtuel de l'iPhone). Certains périphériques de saisie vont plus loin.

Un avenir très ouvert

Le Maglev, par exemple, utilise un jeu de forces magnétiques qui permet de faire ressentir la texture d'une surface à son utilisateur. Idem, dans de moindres proportions, pour le stylet wUbi-Pen des chercheurs de l'Etri (Electronics and Telecommunications Research Institute) en Corée, qui envoie des stimuli au niveau des doigts de l'utilisateur. Le laboratoire japonais Shinoda Lab emploie quant à lui des ultra-sons dans ses prototypes de systèmes inter-actifs. L'avenir des IHM est donc encore très ouvert. Et, comme le propose le système Openvibe de l'Inria, un système analysant l'activité de nos neurones pourrait même à terme réaliser des actions sans qu'il soit besoin de lever le petit doigt. Toutefois le chemin est encore long. Isoler et cartographier le comportement de certaines zones du cerveau, capter cette activité et la traduire en informations de commande ou de données n'est pas évident, en dehors même des performances de traitement que cela nécessite. Pire, nous ne sommes pas encore entraînés pour le faire. Et en pratique, le dispositif expérimenté par l'Inria produit des résultats encore limités, pour un encombrement non négligeable. Mais l'idée est là. Et combinée avec d'autres sens, la pensée pourrait participer à de futurs systèmes d'interaction entre l'homme et la machine.

L'avis de l'analyste : Steven Prentice, analyste chez Gartner

' Nombre de nouveaux systèmes ciblent d'abord le grand public '

' Les particuliers demandent plus à l'informatique que les entreprises et leurs activités, très exigeantes au niveau des aptitudes d'entrées-sorties, ont tendance à ne pas être structurées, comparées aux approches plus organisées de l'entreprise. '

' Mais leur adaptation sera plus rapide en entreprise '

' Si les progiciels de gestion s'accommodent bien d'un clavier et d'une souris, certaines applications exploitant des environnements multidimensionnels bénéficieraient de dispositifs de navigation et d'interaction plus sophistiqués et plus productifs. L'avantage est que les utilisateurs se seront habitués à ces types d'interface en dehors du travail pour des applications plus ludiques. '

Dix moyens d'interagir avec les machines

La souris Air Mouse, de Gyration

Elle embarque une puce propriétaire baptisée Motionsense. Elaborée par le constructeur, elle comprend un gyroscope et trois accéléromètres. Dans le même registre, la Wiimote de Nintendo complète ses accéléromètres par un capteur infrarouge. Elle connaît sa position par triangulation grâce aux émetteurs contenus dans la ' sensor bar ' de la console Wii.

Le dispositif Mixed Reality Interface, de Kommerz

Se rapprochant du projet Surface, de Microsoft, ce dispositif prend le parti d'une interface de rendu (l'écran) dissociée de l'espace d'interaction. Ce dernier est constitué d'une table sur laquelle sont déplacés des objets simples dotés de marqueurs. Certains objets plus complexes (caméras, éclairages...) sont paramétrables via un menu s'affichant sur la table.

Le projet Openvibe de l'Inria

L'utilisateur (ici dans un musée virtuel) pense à l'action qu'il veut réaliser : avancer un pied, bouger la main, dicter une lettre. Grâce à une phase d'apprentissage, la collecte des informations d'activité des neurones permet de reconnaître l'action souhaitée et de l'appliquer dans le milieu virtuel. On ne sait encore enchaîner que des actions unitaires simples et très ciblées.

L'intégration d'un touchpad à un clavier

Alors que les PC portables se sont dotés très rapidement de dispositifs de pointage (trackpoint, trackpad et autres touchpads), l'idée d'intégrer un touchpad à un clavier autonome - comme sur celui de Cherry - est, bizarrement, assez récente. Excepté sur les portables d'Apple et de certains autres constructeurs (dont Asus), ces touchpads ne proposent pas de fonctions multi-touch, du fait de la technologie de leur OS ou de l'absence de drivers adéquats.

Le Maglev, de Butterfly Haptics

Ce projet, réalisé à l'université Carnegie Mellon, s'appuie sur le principe de la lévitation magnétique pour maintenir le dispositif de pointage à distance de tout contact. En contrepartie, l'amplitude de mouvement est relativement limitée. Cela est compensé par la précision du positionnement dans l'espace, qui approcherait les limites de la perception humaine. Son point fort : le rendu de sensations, qui permet la simulation de contact avec une surface très dure, rugueuse ou bien molle. Son handicap : ses 40 centimètres de diamètre et ses 18 kilos.

Les applications ou périphériques multi-touch

On pense d'abord à l'iPhone d'Apple et à la table Surface de Microsoft. Cette dernière fonctionne grâce à des caméras et à un projecteur intégrés dans son socle. De nombreuses sociétés ?" ainsi que des acteurs de la communauté open source ?" développent des variantes de ce système. Les Français Immersion (à l'origine de nombreux projets industriels de réalité virtuelle) ainsi qu'Intuilab (une société toulousaine qui vient de développer un projet de ce type pour les boutiques Photo Service) en sont des exemples.

Le clavier virtuel de Sensitive Object

Celui-ci reconnaît la frappe d'une touche grâce au système de détection acoustique, baptisé Reversys, apposé sur la table. Position et force peuvent être reconnus après une phase limitée d'apprentissage. Cette technologie permet de rendre interactif presque n'importe quel objet.

L'Airborne Ultrasound Tactile, du Shinoda Lab

Pour rapprocher interactions et mouvements naturels, l'utilisateur doit ressentir la réalité de son environnement virtuel... C'est le but recherché par le dispositif du laboratoire japonais, qui utilise des ultrasons pulsés vers la main du manipulateur (repérée par une caméra) en fonction de l'objet qu'elle est censée rencontrer. La récente évolution de cette technologie, baptisée Touchable Holography, inaugure un embryon d'interaction avec un hologramme.

Les interfaces tactiles

Déjà présente depuis longtemps sur certains types de terminaux (notamment dans les restaurants et les magasins), cette interface n'a pas encore envahi les bureaux. L'arrivée, en 2008, de cette technologie sur les systèmes Touchsmart de HP (ici en version table) pourrait lancer la mode. Problème : ce sont principalement les applications multimédias qui en tirent parti et non des applications de bureautique ou d'entreprise.

Le Spacenavigator de 3Dconnexion

(filiale de Logitech) offre, avec ses six degrés de liberté, un moyen de se déplacer dans des univers en 3D et de manipuler des composants dans les applications de CAO (pour une centaine d'euros). Il ne pèse que 500 grammes. Pour ce poids, la précision est moindre qu'avec un dispositif tel que le Maglev et le système ninclut pas de principe réactif permettant le rendu de sensations.

envoyer
par mail
imprimer
l'article
@01Business_fr sur
à lire aussi
SUR LES MÊMES THÈMES
Morning 01 Business Poste de Travail
Retour sur le Morning 01 Entreprise collaborative
Matinée CIO
Morning 01 Business Cloud computing
Retour sur les Trophées 01 Business de la Sécurité
Morning 01 Business Entreprise Collaborative
Les lauréats 2013 des Trophées 01 Business de la Sécurité
Les Trophées 01 Business de la Sécurité
Retour sur le 1er Morning : Big Data
BYOD, cauchemar ou opportunité pour les DSI ?
Morning 01 Business Cloud
Dîner Club 01
Retour sur la matinée 01 Workstation 2012
Retour sur la Matinée 01 Workstation
Retour sur la matinée Entreprise Collaborative
Retour sur la Matinée 01 Entreprise Collaborative