ケーススタディ: 3D スキャン システムでデジタル キャラクターに命を吹き込む
視覚効果 (VFX) の進歩は、エンターテインメント業界のデジタル変革をもたらし、メディアの消費方法を変えました。 映画、テレビ番組、ビデオ ゲームでこれらのデジタル キャラクター、オブジェクト、環境に命を吹き込むことは、今日、高速 3D デジタル キャプチャ システムの導入から始まります。
ただし、VFX パイプラインに 3D ヘッド スキャン システムを使用する場合、いくつかの課題が生じる可能性があります。 レーザー スキャンや構造化光などの技術では、被写体を静止させる必要があり、これにより映画制作全体の速度が低下する可能性があり、事後に撮影した画像から鏡面反射成分を除去する必要がある場合があります。 さらに、複雑なシステムのセットアップには専門の電気技術者および機械技術者が必要です。 これらの問題に対処するために、ターンキー写真測量スキャン会社 Pixel Light Effects は高速、高解像度を活用しています。 GigE Vision カメラ 3D デジタル キャプチャ システムで、実物に近い、正確な作品の作成を可能にします。 体積測定スキャン VFX パイプライン用。
不気味の谷を避ける
2 年前、ジェームズ キャメロン監督の『ターミネーター 1991』は VFX の転換点として登場し、長編映画の主人公の一部がコンピューター グラフィックスを使用して作成されたのは初めてだと伝えられています。 特に当時としてはその効果はまだ保たれていますが、その技術は 2022 年の続編の技術をはるかに上回っています。 （キャメロン首相のXNUMX年を参照） アバター: 水の道、 ただし、高品質の VFX の優れた例は数多く存在しますが、スペクトルの反対側にある多くの例も同様です。 2017年にヘンリー・カビルの口ひげがデジタルで削除されたことを考えてみてください。 ジャスティス・リーグ あるいは、2004 年の不幸な不気味の谷効果 ポーラー·エクスプレス 多くの視聴者に伝えました。
悪い VFX は映画を台無しにする可能性がありますが、優れたエフェクトは視聴者を映画鑑賞体験に引き込むのに必要なリアリズムを提供します。 ピクセル ライト エフェクトの場合 — 最近のプロジェクトには次のようなものがあります。 プレイ、デッドプール 2、猿の惑星: 聖戦記、オルタード カーボン、サブリナのぞくぞくする冒険、 および 昔々 — これは、いわゆる 4D スキャン (または「時間とともに 3D」) ボリュームキャプチャ技術を導入することを意味します。 4Dキャラクターアニメーション会社にも採用されている3Dスキャン搭載 再検討、取得された各フレームは、テクスチャ マップを含む 3D モデルです。 12 x 12 フィートのヘッド スキャン リグを設置してセットアップすると (図 1)、カメラが校正され、撮影パラメータが同社独自のソフトウェアに保存され、各起動シーケンスで同期されます。 内蔵パラメータにより、カメラ設定、フレームレート、LEDの明るさ、照明シーケンスなどの撮影パラメータを変更することもできます。
図 1: 恐竜の頭蓋骨のレプリカが、スキャンのために 3D デジタル キャプチャ システム内に配置されます。
シャッターと LED ストロボは、カメラの設定と正確に同期されるハードウェアです。 このシステムは、142fps で 60 個の直線偏光 LED ストロボを使用して、過剰な電力を消費したり、タレントにとって明るすぎたりすることなく光の強度を確保します。 これらのライトは、顔のしわを表示するだけでなく、テクスチャを取得するための拡散照明環境を作成します。 32 からのフレーム マシンビジョンカメラ データは高速ソリッド ステート ドライブ (SSD) または大容量 RAM を備えたカスタム構成のデータ サーバーにストリーミングされ、データはエンコードのためにグラフィックス プロセッシング ユニット (GPU) に送られます。
デジタルダブルスの廃止
各フレームは 32 枚の画像で構成されているため、システムは Wrap4D でメッシュ シーケンスを追跡して、一貫したトポロジーを実現できます。 Pixel Light Effects の CEO、Jingyi Zhang 氏によると、システムの最終出力は通常、アニメーション用に XNUMX つの異なる方法で使用されます。
「まず、データをリギングの参照として使用して、表情の間で顔がどのように変形するかを研究することができます。これにより、CGI アーティストが連続メッシュから「中間」を抽出して、顔リグに追加のブレンド シェイプを追加できるようになります」と彼は言います。 「さらに、このシステムは 4D でパフォーマンス キャプチャを実行する機能を提供し、キャプチャしたシーケンスをリグ付きアニメーションでオーバーレイしてパフォーマンスを検証できます。」
過去の映画の間違いを回避し、視聴者をその体験から解放するという点では、Pixel Light Effects は人間の俳優のパフォーマンスをキャプチャし、4D テクノロジーを使用してデジタル ダブルを作成し、俳優のパフォーマンスを 3D デジタル空間に拡張します。
図 2: Pixel Light Effect の 3D スキャン システムは、データ損失ゼロの高速、高解像度カメラを活用して、より高品質のデジタル ダブルを提供します。
「モーション キャプチャやアニメーションのプロセスでは微妙な部分が失われる可能性があるため、フェイシャル アニメーションの大きな困難は、適切な感情や雰囲気をキャプチャすることです」と Zhang 氏は言います。 「私たちは、タレントを適切な気分に導き、その演技を 3D 環境で再現するのを支援します。
「デジタルダブルスがあまりにも現実的になってきているので、俳優はもう必要ないという声を多くの人が聞いていますが、私たちは強く反対します」と彼は続けます。 「私たちは俳優の才能と演技に依存し、それを CGI に取り込むことで、観客がストーリーに没頭し、より良い体験ができるようにします。」
高速、高解像度のアップグレード
以前の設計では、システムは 32x 5MP を使用していました 10GigE カメラしかし、Zhang 氏によると、3D/4D 再構成の結果は理想的とは言えませんでした。
「以前のイテレーションでは、システムはジオメトリの詳細を抽出するのに苦労し、テクスチャ品質が低いため追跡結果に影響を与えました」と彼は言います。 「当時市場にあった他の高速、高解像度カメラは、私たちの用途には経済的ではありませんでした。 そのため、Emergent Vision Technologies のカメラを見つけたとき、それは革新的なものであり、クライアントのコンテンツ作成プロセスに優れた、よりアクセスしやすいソリューションを提供できるようになりました。」
ピクセル ライト エフェクトが最初に選択したのは、 HR-12000-SC カメラ、10MP Sony IMX12 をベースにした 253GigE カラー カメラで、最大 80 fps のフレーム レートに達します。 カメラの利点としては、低ノイズ、マルチカメラ同期、ファイバー コンバーターやリピータを必要としない 1 m ～ 10 km のファイバー ケーブル長が挙げられます。 これらのカメラは、パフォーマンスと顧客サポートを理由に選ばれたと Zhang 氏は言います。
図 3: Emergent から最初に 10GigE カメラを導入した後、Pixel Light Effects は 32fps に達する解像度 25MP の 24.47GigE カメラを 98 台設置します。
「私たちのシステムでは解像度とフレーム レートも同様に重要ですが、Emergent は私たちが必要とするカメラだけでなく、高速で信頼性の高いデータ転送を促進する確立されたソフトウェア開発キットとネットワーク インターフェイス カードも備えていました」と彼は言い、Emergent は次のように付け加えました。知識豊富なテクニカル サポート チームがすべての質問に迅速に回答してくれました。
システムの新しいバージョンでは、Pixel Light Effects に 25GigE が統合されます。 HB-25000-SB-C カメラ、24.47MP Sony IMX530 をベースにしており、高速 98GigE QSFP25 インターフェイスを通じて 28 fps のフレーム レートに到達できます。
「以前の設計では 10GigE インターフェイスが活用されていましたが、これらの新しい 25GigE カメラでは、同様のフレーム レートで、より高い解像度で確実にデータをキャプチャできるため、当社のシステムは公開市場での競争力が大幅に高まりました」と Zhang 氏は言います。
詳細については：
Emergent Vision Technologies の高速カメラ:
https://emergentvisiontec.com/area-scan-cameras/
