プレーンコンセプトは、仮想ステージを開発するためにマイクロソフトと協力しています

これらの仮想シナリオ, マイクロソフトビルドで使用 2020, スピーカーレコーダーアプリで設計されています, 1 つまたは 2 つの Azure Kinect デバイスを使用して会議を記録できます, と背景マッティング, AIモデルとセンサー情報を使用して背景を削除する.

スペインの会社 単純な概念 研究および人工知能チームと協力して (人工知能) の マイクロソフト 仮想シナリオの開発において (仮想ステージ) オンラインで祝うことを許した マイクロソフト ビルド 2020, レドモンド社の開発者との偉大な任命, そのツールとサービスの最新の更新が明らかにされる.

AI と Azure Kinect に基づいて構築, ソリューションは、彼らがステージにあったかのように彼らの家からプレゼンテーションを与えるためにスピーカーを構築することができました. 沿い 48 登録されているすべてのセッションのライブセッションとオープンセッションの時間, 開発者は、セットで達成されたものと同じ画像とオーディオ品質で専門家のプレゼンテーションを楽しむことができた.

このマイルストーンは、仮想ステージのおかげで達成されました, Azure Kinect のパワーと AI の最新の進歩を利用して、まるでクロマの前で話すプロのレコーディング スタジオにいるかのように、自宅でスピーカーを録音するアプリケーション. これらの記録は、仮想シナリオを作成できるポストプロダクションに送信されます。, アニメーションまたは異なるコンポジション.

仮想ステージには 2 つのコンポーネントがあります。: スピーカーレコーダーアプリ, 1 つまたは 2 つの Azure Kinect デバイスを使用して会議を記録できます, と背景マッティング, 優れた品質で背景を取り除くアプリ, 洗練された AI モデルと Azure Kinect センサーからの情報を使用する.

スピーカー レコーダー アプリは、1 つまたは 2 つの Azure Kinect カメラから色と深度の情報をキャプチャします。 (2台のカメラを使用して、同じ会議の2つの角度を記録することができます). さらに, スピーカーは、発表者を使用して、PowerPoint スライドとワイヤレス マイクをスクロールできます. 彼らが終わったら, ビデオは、処理される Azure にアップロードされます。.

Azure で, バックグラウンド マット アプリケーションは、Azure Kinect から取得した深度情報を使用して、ボディのセグメント化によってマスクを生成し、AI モデルを使用して、そのマスクの精度を向上させ、髪または指のある領域でより良いトリミングを提供します. このマスクは、スピーカーの色情報をカットし、仮想シナリオの色で既に置き換えることができる透明な背景を持つ新しいビデオを生成するために、最後のステップで使用されます.

背景マッティングは、ワシントン大学からの新しい技術に基づいています. 立っている人間を描写するラベル付きのトレーニングデータの欠如のために, 元のAIは、股関節または膝まで512×512の正方形の画像/ビデオで訓練されました.

髪などのエリアで高品質のクローズアップを実現する, 手または足は、元の方法に2つの重要な貢献をした.

まずは, 元のセグメンテーション ステップを Azure ボディ トラッキング SDK の AI モデルに置き換えました, 画像の色の類似性とあいまいな領域を持つ、より寛容なセグメンテーションを実現する.

後, 体は小さな重なりのある2つの正方形の画像に分けられ、別々に処理された. これにより、足の間の影などの困難な領域でモデルをより良く見ることができます。, 髪や手の精度を失うことなく.

その他の記事について マイクロソフト, 単純な概念