Multisens et SimSensei: plateforme virtuelle interactive comme aide thérapeutique

Institut des technologies créatives (TIC) de l'Université de Californie du Sud (USC) a développé la technologie interactive Multisense, qui analyse les expressions et les modèles humains en temps réel comme support thérapeutique.

Référence en recherche et développement de technologies humaines virtuelles avancées, il Institut des technologies créatives (institut des technologies créatives TIC) de l'USC a développé, avec des experts en psychologie clinique, sciences cognitives, vision artificielle, etc.; Technologie interactive multisens pour le soutien thérapeutique et de santé.

MultiSense est un logiciel qui suit et analyse automatiquement les expressions faciales en temps réel, posture du corps, caractéristiques acoustiques, modèles linguistiques et descripteurs comportementaux de haut niveau (Par exemple, attention, préoccupation,..).

De ces signes et comportements, les indicateurs de détresse psychologique humaine sont capturés par l'avatar virtuel. Pour ta part, SimSensei est une plateforme humaine virtuelle conçue spécifiquement pour le soutien à la santé.

SimSensei permet une interaction en face à face, dans lequel l'humain virtuel participe et réagit automatiquement à la situation perçue par l'utilisateur et à l'intention, à travers votre propre voix et vos gestes.

Cette plateforme a pour vocation d'être un outil d'accompagnement des professionnels de santé et thérapeutiques., et non pour un traitement ou un diagnostic médical, puisqu'il remplit le rôle d'un psychothérapeute virtuel, sans qu'il soit nécessaire qu'une personne le contrôle, mais écouter et interagir comme thérapie.

Ces développements utilisent la technologie de capture visuelle Microsoft Kinect pour analyser les expressions faciales, postures du corps, détails sonores, modèles linguistiques et détecteurs de comportements complexes en temps réel, grâce à des algorithmes visuels.

Tous ces éléments permettent à l'humain virtuel de capter tout doute ou réaction et, grâce à l'analyse des données collectées, détecter les troubles psychologiques, avec une efficacité diagnostique en cas de dépression d'un 90%, selon les experts.Louis-Philippe Morency et Albert Rizzo, Chercheurs en TIC, ont été les principaux responsables de ce projet.

Plus d'humains virtuels

L'Institut des technologies créatives (TIC) a développé de nombreux avatars humains virtuels interactifs pour un large éventail d'applications, du thérapeute décrit ci-dessus à un guide du musée, quelqu'un avec qui discuter ou un entraîneur militaire.

Par exemple, Ellie est une simulation interactive créée pour discuter avec les gens et interagir dans la conversation en hochant la tête et en posant des questions simples qui, selon la conversation, guide l’utilisateur vers un état d’esprit positif.

Pour réaliser, cet humain virtuel (homme ou femme) analyse des milliers de mesures de l'utilisateur avec lequel vous avez le chat virtuel, qui doit disposer d'un ordinateur équipé d'une caméra vidéo, capteur Kinect et audio, analyser des expressions, mouvements et inflexions de la voix.

Ellie analyse tous ces éléments en détail pour déceler l'ambiance, apathie, changements de ton, regarde, etc.. suivre un protocole simple d'action en conversation ou d'écoute de l'utilisateur. Cet avatar est actuellement utilisé au sein du Département américain de la Défense comme alternative thérapeutique.