Plain Concepts collabore avec Microsoft pour développer Virtual Stage

Ces scénarios virtuels, utilisé dans Microsoft Build 2020, Ils ont été conçus avec l'application Speaker Recorder, qui vous permet d'enregistrer une conférence à l'aide d'un ou deux appareils Azure Kinect, y Tapis de fond, qui supprime l'arrière-plan à l'aide d'un modèle d'IA et des informations du capteur.

La société espagnole Concepts simples a collaboré avec l'équipe de recherche et d'intelligence artificielle (IA) de Microsoft dans le développement de scénarios virtuels (Scène virtuelle) qui nous ont permis de célébrer en ligne Version Microsoft 2020, le grand rendez-vous avec les développeurs de la société de Redmond, qui dévoile les dernières mises à jour de ses outils et services.

Construit sur l'IA et Azure Kinect, La solution a permis aux intervenants de Build de faire leurs présentations depuis leur domicile comme s'ils étaient sur scène.. Tout au long de 48 heures de sessions live ouvertes à tous les inscrits, Les développeurs ont pu profiter des présentations des experts avec une qualité d'image et de son identique à celle obtenue sur un plateau.

Cette étape a été franchie grâce à Virtual Stage, une application qui profite de la puissance d'Azure Kinect et des dernières avancées en matière d'IA pour enregistrer les orateurs chez eux comme s'ils étaient dans un studio d'enregistrement professionnel parlant devant une incrustation chroma.. Ces enregistrements sont envoyés en post-production où des scénarios virtuels peuvent être créés., animations ou différentes compositions.

Virtual Stage comporte deux composants: Application Enregistreur de haut-parleurs, qui vous permet d'enregistrer une conférence à l'aide d'un ou deux appareils Azure Kinect, y Tapis de fond, une application qui supprime l'arrière-plan avec une grande qualité, en utilisant un modèle d'IA sophistiqué et les informations des capteurs Azure Kinect.

L’application Speaker Recorder capture les informations de couleur et de profondeur à partir d’une ou deux caméras Azure Kinect (Deux caméras peuvent être utilisées pour enregistrer deux angles de la même conférence). En plus, l'orateur peut utiliser un présentateur pour faire défiler les diapositives PowerPoint et un microphone sans fil. quand ils auront fini, Les vidéos sont téléchargées sur Azure où elles sont traitées.

Un azur, L'application Background Matting utilise les informations de profondeur obtenues depuis Azure Kinect pour générer un masque par segmentation corporelle puis un modèle d'IA pour améliorer la précision dudit masque et permettre un meilleur recadrage dans les zones comportant des cheveux ou des doigts.. Ce masque servira dans l'étape finale à découper les informations de couleur de l'orateur et à générer une nouvelle vidéo avec un fond transparent qui pourra désormais être remplacé par celui d'une scène virtuelle..

Background Matting est basé sur une nouvelle technique de l’Université de Washington. En raison du manque de données d'entraînement étiquetées représentant des humains debout, l'IA originale a été entraînée avec des images/vidéos carrées de 512 x 512 jusqu'à la hanche ou au genou.

Pour obtenir un gros plan de haute qualité sur des zones telles que les cheveux, mains ou pieds, deux contributions importantes ont été apportées à la méthode originale.

D'abord, Remplacement de l'étape de segmentation d'origine par des modèles d'IA du SDK Azure Body Tracking, obtenir une segmentation plus tolérante avec des similitudes de couleurs et des zones ambiguës de l'image.

Après, diviser le corps en deux images carrées avec un petit chevauchement et les traiter séparément. Cela permet au modèle de mieux « voir » dans les zones difficiles comme l'ombre entre les pieds., sans perdre en précision dans les cheveux ou les mains.