사례 연구: 3D 스캐닝 시스템으로 디지털 캐릭터에 생명을 불어넣다
시각 효과(VFX)의 발전은 엔터테인먼트 산업의 디지털 혁신을 가져왔고 우리가 미디어를 소비하는 방식을 변화시켰습니다. 오늘날 영화, TV 쇼 및 비디오 게임에서 이러한 디지털 캐릭터, 개체 및 환경을 생생하게 구현하는 것은 고속 3D 디지털 캡처 시스템의 배포로 시작됩니다.
그러나 VFX 파이프라인에 3D 헤드 스캐닝 시스템을 사용할 때 몇 가지 문제가 발생할 수 있습니다. 레이저 스캐닝이나 구조광과 같은 기술을 사용하려면 피사체가 가만히 있어야 하며 이로 인해 전체 영화 제작 속도가 느려질 수 있으며 사후에 캡처된 이미지에서 거울 성분을 제거해야 할 수도 있습니다. 또한 복잡한 시스템을 설정하려면 전문 전기 및 기계 엔지니어가 필요합니다. 이러한 문제를 해결하기 위해 턴키 사진 측량 스캐닝 회사인 Pixel Light Effects는 고속, 고해상도를 활용합니다. GigE 비전 카메라 3D 디지털 캡처 시스템을 통해 실제와 같은 정확한 이미지를 생성할 수 있습니다. 체적 스캔 VFX 파이프라인을 위한 것입니다.
불쾌한 계곡을 피하세요
2년 전, 제임스 카메론(James Cameron)의 터미네이터 1991(Terminator 2022)는 VFX의 분수령으로 등장했으며, 장편 영화의 주인공이 부분적으로 컴퓨터 그래픽을 사용하여 만들어진 최초의 사례라고 합니다. 특히 당분간 효과는 여전히 유지되지만 기술은 XNUMX년 속편의 기술을 훨씬 능가했습니다. (Cameron의 XNUMX년 참조 아바타: 물의 길, 예를 들어.) 그럼에도 불구하고 존재하는 고품질 VFX의 모든 잘 실행된 예에 대해 스펙트럼의 반대편에 있는 많은 사람들도 마찬가지입니다. 2017년 헨리 카빌의 콧수염 디지털 제거를 생각해 보세요. 법무부 리그 또는 2004년의 불행한 불쾌한 계곡 효과 폴라 익스프레스 많은 시청자들에게 전해졌습니다.
나쁜 VFX는 영화를 망칠 수 있지만 훌륭한 효과는 시청자가 영화 감상 경험에 계속 몰입하는 데 필요한 현실감을 제공합니다. Pixel Light Effects의 경우 — 최근 프로젝트에는 다음이 포함됩니다. 프레이, 데드풀 2, 혹성탈출 전쟁, 얼터드 카본, 사브리나의 오싹한 모험, 과 아주 옛날 — 이는 4D 스캐닝(또는 "시간에 따른 3D") 체적 캡처 기술을 배포하는 것을 의미합니다. 4D 캐릭터 애니메이션 회사에서 사용하는 3D 스캐닝으로 재결합, 획득된 각 프레임은 텍스처 맵이 포함된 3D 모델입니다. 12 x 12피트 머리 스캐닝 장비가 설치 및 설정되면(그림 1), 카메라가 보정되고 촬영 매개변수가 회사의 독점 소프트웨어에 저장되고 각 시작 시퀀스에서 동기화됩니다. 내장된 매개변수를 사용하면 카메라 설정, 프레임 속도, LED 밝기, 조명 순서 등과 같은 촬영 매개변수를 변경할 수도 있습니다.
그림 1: 복제 공룡 두개골은 스캔을 위해 3D 디지털 캡처 시스템 내부에 배치됩니다.
셔터와 LED 스트로브는 카메라 설정과 하드웨어적으로 정확하게 동기화됩니다. 이 시스템은 142fps에서 60개의 선형 편광 LED 스트로브를 사용하여 과도한 전력을 소모하거나 너무 밝지 않은 상태에서 빛의 강도를 보장합니다. 이러한 조명은 얼굴의 주름을 표시할 뿐만 아니라 텍스처 획득을 위한 확산 조명 환경을 만듭니다. 32의 프레임 머신 비전 카메라 고속 SSD(Solid-State Drive) 또는 대용량 RAM을 갖춘 맞춤형 구성 데이터 서버로 스트리밍된 후 데이터는 인코딩을 위해 그래픽 처리 장치(GPU)로 이동됩니다.
디지털 복식을 버리다
각 프레임은 32개의 이미지로 구성되어 시스템이 일관된 토폴로지를 위해 Wrap4D에서 메시 시퀀스를 추적할 수 있습니다. Pixel Light Effects의 CEO인 Jingyi Zhang에 따르면 시스템의 최종 출력은 일반적으로 애니메이션을 위한 두 가지 다른 방식으로 사용됩니다.
"먼저, 데이터를 리깅 참조로 사용하여 표정 사이에서 얼굴이 어떻게 변형되는지 연구할 수 있습니다. 이를 통해 CGI 아티스트는 연속 메시에서 '사이'를 추출하여 얼굴 리그에 추가 블렌드 모양을 추가할 수 있습니다."라고 그는 말합니다. "게다가 이 시스템은 성능을 검증하기 위해 캡처된 시퀀스를 리깅된 애니메이션과 오버레이할 수 있는 4D로 성능 캡처를 수행할 수 있는 기능을 제공합니다."
과거 영화의 실수를 피하고 시청자를 경험에서 벗어나게 하는 경우 Pixel Light Effects는 인간 배우의 연기를 캡처하고 4D 기술을 사용하여 디지털 복식을 만든 다음 배우의 연기를 3D 디지털 공간으로 확장합니다.
그림 2: Pixel Light Effect의 3D 스캐닝 시스템은 데이터 손실이 없는 고속, 고해상도 카메라를 활용하여 더 높은 품질의 디지털 복제물을 제공합니다.
Zhang은 “얼굴 애니메이션의 가장 큰 어려움은 올바른 느낌이나 분위기를 포착하는 것입니다. 모션 캡처 및 애니메이션 프로세스에서 미묘함이 사라질 수 있기 때문입니다.”라고 Zhang은 말합니다. “우리는 재능을 올바른 분위기로 유도하고 3D 환경에서 그 연기를 재현하도록 돕습니다.
“우리는 많은 사람들이 디지털 복식이 너무 현실화되어 더 이상 배우가 필요하지 않다고 말하는 것을 들었지만 우리는 이에 동의하지 않습니다.”라고 그는 계속 말했습니다. "우리는 배우들의 재능과 연기에 의존하고 이를 CGI로 가져와 관객이 스토리에 몰입하고 더 나은 경험을 할 수 있도록 합니다."
고속, 고해상도 업그레이드
이전 디자인에서는 시스템이 32x 5MP를 사용했습니다. 10GigE 카메라그러나 Zhang에 따르면 3D/4D 재구성 결과는 이상적이지 않았습니다.
"이전 반복에서는 시스템이 기하학적 세부 정보를 추출하는 데 어려움을 겪었고 텍스처 품질이 낮아 추적 결과에 영향을 미쳤습니다."라고 그는 말합니다. “당시 시중에 나와 있는 다른 고속, 고해상도 카메라는 우리 애플리케이션에 적합하지 않았습니다. 그래서 우리가 Emergent Vision Technologies의 카메라를 발견했을 때 그것은 게임 체인저였으며 우리는 고객의 콘텐츠 제작 프로세스를 위한 우수하고 접근하기 쉬운 솔루션을 제공할 수 있었습니다.”
Pixel Light Effects는 먼저 HR-12000-SC 카메라, 최대 10fps의 프레임 속도에 도달할 수 있는 12MP Sony IMX253 기반의 80GigE 컬러 카메라입니다. 카메라의 이점에는 저소음, 다중 카메라 동기화, 광섬유 변환기나 리피터가 필요 없는 1m~10km의 광섬유 케이블 길이 등이 포함됩니다. Zhang은 성능과 고객 지원 때문에 이 카메라를 선택했다고 말했습니다.
그림 3: Emergent에서 10GigE 카메라를 처음 배포한 후 Pixel Light Effects는 32fps에 도달할 수 있는 25MP 해상도의 24.47x 98GigE 카메라를 설치합니다.
"해상도와 프레임 속도는 우리 시스템에서 똑같이 중요합니다. 하지만 Emergent에는 우리가 필요로 하는 카메라뿐 아니라 빠르고 안정적인 데이터 전송을 촉진하는 확립된 소프트웨어 개발 키트와 네트워크 인터페이스 카드도 있었습니다."라고 Emergent는 덧붙였습니다. 모든 질문에 매우 신속하게 답변하는 지식이 풍부한 기술 지원 팀을 제공했습니다.
새 버전의 시스템에서는 Pixel Light Effects가 25GigE를 통합합니다. HB-25000-SB-C 카메라24.47MP Sony IMX530을 기반으로 하며 고속 98GigE QSFP25 인터페이스를 통해 28fps의 프레임 속도에 도달할 수 있습니다.
"이전 설계에서는 10GigE 인터페이스를 활용했지만 이 새로운 25GigE 카메라를 사용하면 비슷한 프레임 속도와 훨씬 더 높은 해상도로 데이터를 안정적으로 캡처할 수 있어 공개 시장에서 우리 시스템의 경쟁력이 훨씬 높아졌습니다."라고 Zhang은 말합니다.
추가 정보 :
Emergent Vision Technologies의 고속 카메라:
https://emergentvisiontec.com/area-scan-cameras/
