Projet SignCom

Sommaire

Objectifs

Ce projet vise à améliorer la qualité de l'interaction en temps réel entre humains et avatars virtuels, en exploitant des modalités de communication naturelles telles que les gestes, les expressions faciales et la direction du regard. Ainsi, les personnages réel et virtuel peuvent établir un dialogue en langue des signes française (LSF), langue visuo-gestuelle fortement structurée et codée. Les résultats de cette recherche seront valorisés par la création d'interfaces intelligentes et expressives pour des personnes utilisant les langues des signes.

Applications

Deux applications principales sont considérées dans le cadre du projet SignCom :

1. Borne interactive : produire des annonces accessibles aux personnes sourdes et malentendantes est reconnu comme étant une priorité nationale et internationale. Grâce à la borne interactive, les gestes des utilisateurs sont détectés au moyen de caméras et reconnus par le système ; des réponses sont fournies au moyen díun avatar signeur, capable de produire des informations et des conseils. Dans ce cas, le dialogue est guidé par des scénarios plus restreints.
2. Réalité virtuelle : des énoncés en LSF sont émis par un utilisateur équipé de capteurs spécifiques (système ART et gants de données), et reconnus par le système au sein de la plateforme de réalité virtuelle. Un moteur de dialogue permet de fournir des réponses appropriées qui sont ensuite signées par líavatar, à partir de la composition de gestes préalablement enregistrés par des techniques de capture de mouvement.