ガウスピクセルコーデックアバター：効率的なレンダリングのためのハイブリッド表現 要約（抜粋）： GPiCAは、三角形メッシュと異方性3Dガウス分布を組み合わせた独自のハイブリッド表現を採用しています。この組み合わせにより、フォトリアリスティックな外観を維持しながら、メモリとレンダリング効率を最大化します。 - 三角形メッシュは、顔の皮膚などの表面領域を表現するのに非常に効率的です。 - 3D ガウス分布は、髪の毛やひげなどの表面以外の領域を効果的に処理します。 この目的のために、我々は 3D ガウス スプラッティングのボリューム レンダリング パラダイム内でメッシュを半透明のレイヤーとして扱う、統合された微分可能なレンダリング パイプラインを開発しました。 私たちは、ニューラル ネットワークをトレーニングして、顔の表情コードを次の 3 つの要素にデコードします。 1. 3D顔メッシュ 2. RGBAテクスチャ 3. 3D ガウス分布のセット。 これらのコンポーネントは、統合レンダリングエンジンで同時にレンダリングされます。ネットワークは、多視点画像教師を用いて学習されます。GPiCAは、純粋にガウス分布に基づくアバターのリアリティを実現しながら、メッシュベースのアバターと同等のレンダリング性能を実現できることが、私たちの研究結果から実証されました。
論文: https://t.co/O8FNPwXCeR