룬드 대학교: ZENITH 카메라를 이용한 4D 방출 단층 촬영

룬드대학교 연구진, 신형 ZENITH 카메라를 활용한 4D 전자방출 단층촬영 시스템 개발

스웨덴 룬드 대학교의 세바스티안 닐손 박사와 데이비드 새네드 박사(현재 사브 소속)는 플라즈마 및 화염 응용 분야에서 발생하는 빠른 체적 변화를 측정하고 시각화하는 연구를 진행하고 있습니다.

그들의 연구는 방출 단층 촬영에 초점을 맞추고 있습니다. 동기화된 카메라가 여러 각도에서 동시에 특정 부피에서 방출되는 빛을 기록합니다. 그런 다음 자체 개발한 맞춤형 단층 촬영 알고리즘을 사용하여 시간에 따른 3D 부피를 재구성하고, 플라즈마 및 화염 진단을 위해 프레임별로 검토할 수 있는 4D 시퀀스를 생성합니다.

왼쪽: 세바스티안 닐손 박사(룬드 대학교 연소물리학과 교수, 스펙트라플라즈마 컨설팅 AB 설립자). 오른쪽: 데이비드 새네드 박사(룬드 대학교 연소물리학과 교수, 현재 사브 시스템 엔지니어).

“Emergent의 카메라는 비용 효율적이고 강력하며 휴대성이 뛰어납니다. eSDK는 문서화가 잘 되어 있었고, 애플리케이션 엔지니어링 지원도 훌륭했습니다. 전반적으로 카메라와 플랫폼 선택에 매우 만족합니다.”
— 세바스티안 닐손, 룬드 대학교 연구원

정지 이미지에서 4D 방출 이미징까지

닐슨과 사네드는 서로 보완적인 배경을 가지고 이 프로젝트에 참여했습니다. 사네드는 박사 학위 연구에서 연소 및 화염 방출을 위한 3D 단층 촬영 기술에 집중했고, 닐슨은 플라즈마 연구, 레이저 진단 및 열처리 분야의 경험을 가지고 있었습니다.

그들의 협력은 공통의 과제에서 시작되었습니다. 평면 레이저 진단은 반응 유동 내의 물질과 특성을 식별할 수 있지만, 움직이는 3차원 화염 전면이나 플라즈마 아크 내에 이러한 2차원 단면을 배치하기는 어렵다는 것이었습니다.

이전 연구에서 연구팀은 초당 50프레임으로 작동하는 카메라를 사용했습니다. 이를 통해 개념은 입증되었지만, 화염과 플라즈마에서 발생하는 빠른 현상을 추적하기에는 프레임 속도가 너무 낮았습니다.

닐슨이 우리와의 대화에서 설명했듯이, 부족했던 부분은 그들이 "최종 상태를 조사하거나 관찰"할 수는 있었지만 플라즈마가 어떻게 그 상태에 도달했는지 이해할 수 없었다는 점이었습니다.

고속 방출 단층 촬영의 경우, 이러한 한계는 매우 중요합니다. 의료용 CT 스캔에서 정지된 물체와 달리 화염과 플라즈마는 끊임없이 변동합니다. 따라서 동일한 영역을 여러 각도에서 순차적으로 스캔할 수 없으며, 모든 카메라 시점을 정확히 같은 순간에, 그리고 현상의 진행 과정을 추적할 수 있을 만큼 충분히 높은 프레임 속도로 촬영해야 합니다.

방출 단층 촬영의 작동 원리

방출 단층 촬영은 기존 X선 영상 촬영 방식과 반대로 작동합니다. 외부 방사선을 물체에 통과시켜 흡수율을 측정하는 대신, 카메라가 화염 화학 발광이나 플라즈마 방출과 같은 과정 자체에서 방출되는 빛을 포착합니다. 각 카메라는 시선 방향에서 2차원 투영 이미지를 기록하고, 자체 개발한 알고리즘을 통해 이러한 동기화된 영상들로부터 원래의 3차원 방출 영역을 재구성합니다.

이 기술의 과학적 이점은 표면적인 외관에만 국한되지 않는다는 점입니다. 재구성을 통해 전체적인 모습을 파악할 수 있으므로 연구자들은 발광체의 외부뿐 아니라 내부 부피까지 연구할 수 있습니다.

전자방출 단층촬영 설명도

방출 단층 촬영에 대한 설명

그림 2 | 4D 광학 방출 단층 촬영의 원리:

(A) 자체 발광하는 체적 광원(난류 화염 화학 발광 또는 비열 플라즈마)이 전방향으로 빛을 방출합니다. 동기화된 카메라 배열은 외부 조명이나 빔 감쇠 없이 시선 방향의 선적분을 캡처합니다.

(B) 3차원 공간을 정규 복셀 격자 f(x,y,z)로 이산화합니다. 희소 전방 투영 가중치 행렬 W_ij는 각 복셀이 검출기 픽셀 p_i에 기여하는 기하학적 정도를 모델링합니다. 공간 평활도 제약 조건으로 정규화된 반복적인 크릴로프 부분 공간 솔버(LSQR)를 사용하여 시스템을 역변환하여 내부의 3차원 방출 밀도를 재구성합니다.

100기가비트 E 카메라를 이용한 4D 방출 단층 촬영 구현

고속 4D 방출 단층 촬영으로 전환하기 위해 룬드 대학교 연구팀은 Emergent를 사용하여 6개의 카메라로 구성된 어레이를 구축했습니다. 제니스 HZ-2000-G 흑백 카메라카메라들은 실험 장치를 둘러싸고 있으며, 각각 다른 각도를 촬영합니다. 컴팩트한 크기 덕분에 공간이나 광학적 접근성이 제한적인 다양한 실험 환경 및 테스트 장비에서 쉽게 재배치할 수 있습니다. 자체 개발한 맞춤형 소프트웨어는 동기화된 영상 스트림을 처리하여 회전, 일시 정지 및 상세 분석이 가능한 입체 이미지를 생성합니다.

6개 카메라로 구성된 100기가비트 에너지 방출 단층 촬영 시스템

룬드대학교 전자방출 단층촬영 장비 구성

그림 3 | 6개 카메라로 구성된 100GigE 방출 단층 촬영 장치.

진동 방지 광학 테이블 위에 중앙 버너 화염 주위에 광학 필터가 장착된 Emergent Vision Technologies ZENITH HZ-2000-G 흑백 카메라 6대가 설치되어 있습니다. 기하학적 보정은 정밀 다중 평면 도트 타겟을 사용합니다. 6개의 카메라 헤드 전체에 걸쳐 마이크로초 미만의 노출 동기화는 100GigE QSFP28 광섬유 링크를 통해 정밀 시간 프로토콜(PTP/IEEE 1588)을 사용하여 유지됩니다.

HZ-2000-G에 탑재된 Gpixel GSPRINT4502 CMOS 센서는 8비트 모드에서 최대 3,463fps의 속도로 2048 x 1216 해상도를 제공합니다. 룬드(Lund) 시스템은 일반적으로 2×2 비닝(1024 x 608)으로 2,000fps의 속도로 작동하며, 급격한 화염 불안정 및 플라즈마 과도 현상을 관찰하기 위해 관심 영역(ROI) 윈도우링을 사용하면 최대 10,000fps까지 도달할 수 있습니다. 카메라들은 100GigE QSFP28 인터페이스를 통해 데이터를 전송합니다. 데이비드 새니드(David Sanned)는 수학적 수렴을 위해서는 최소 4대의 카메라가 필요하지만, 6대를 사용하면 안정적인 재구성 품질을 얻을 수 있다고 언급했습니다. 8~10대까지 카메라를 추가하면 공간 해상도는 향상되지만, 그 효과는 점차 감소합니다.

정밀 시간 프로토콜(PTP)을 사용하여 6대의 카메라 간 녹화를 동기화했습니다. 모든 카메라는 이더넷을 통해 동일한 시계를 공유합니다. 단층 촬영 재구성이 완료되면 여러 관점에서 동시에 현상을 관찰할 수 있습니다.

지원 하드웨어가 애플리케이션의 성능 요구 사항을 충족하도록 하기 위해 룬드 대학교 팀과 Emergent는 컨설팅 방식을 활용했습니다. 이를 통해 비용 대비 효과를 극대화하는 선택을 할 수 있었습니다.

AMD 스레드리퍼 CPU, 대용량 메모리, 그리고 브로드컴 100기가비트 이더넷(GigE) 네트워크 카드 3개로 구성된 워크스테이션을 구축했습니다. 인텔 아크 프로(Arc Pro) GPU는 연산 집약적인 단층 영상 재구성 작업을 처리할 수 있는 충분한 VRAM 용량을 고려하여 선정되었습니다. 이러한 구성은 연구팀의 가격 대비 성능 요구 사항을 충족할 수 있었습니다.

소프트웨어 측면에서 Nilsson과 Sanned는 Emergent의 도구를 사용하여 자체적인 데이터 수집 인터페이스와 처리 파이프라인을 구축했습니다. eSDK 프로그러한 유연성이 필수적이었습니다. 그들은 폐쇄적인 상용 패키지가 아닌 맞춤형 과학 워크플로에 통합될 수 있는 플랫폼이 필요했습니다.

(a) Emergent eSDK Pro를 사용하여 개발된 맞춤형 TomoView 멀티 카메라 동기화 획득 및 재생 인터페이스로, 6대의 ZENITH 카메라에서 동시에 2,000fps의 실시간 스트림을 패킷 손실 없이, 1마이크로초 미만의 PTP 동기화 잠금으로 표시합니다. (b) AMD Ryzen Threadripper CPU, 256GB 시스템 RAM, 역해석 계산 가속을 위한 Intel Arc Pro GPU, 그리고 제로 카피 RDMA/RoCEv2 스트림을 시스템 RAM으로 직접 수신하는 3개의 Broadcom 듀얼 포트 100GigE QSFP28 NIC를 특징으로 하는 워크스테이션 아키텍처.

고처리량 획득 및 재구성 파이프라인

그림 4 | 고처리량 획득 및 재구성 파이프라인.

(A) Emergent eSDK Pro를 사용하여 개발된 맞춤형 TomoView 멀티 카메라 동기화 획득 및 재생 인터페이스로, 6대의 ZENITH 카메라에서 동시에 2,000fps 라이브 스트림을 표시하며 패킷 손실이 없고 PTP 동기화가 1마이크로초 미만으로 유지됩니다.

(B) AMD Ryzen Threadripper CPU, 256GB 시스템 RAM, 가속 역해석 계산을 위한 Intel Arc Pro GPU, 그리고 제로 카피 RDMA/RoCEv2 스트림을 시스템 RAM으로 직접 수신하는 3개의 Broadcom 듀얼 포트 100GigE QSFP28 NIC를 특징으로 하는 워크스테이션 아키텍처.

세바스찬과 데이비드는 eSDK Pro를 사용하여 이미지 데이터를 캡처, 처리, 전송 및 저장했습니다. 세바스찬은 Emergent 소프트웨어 개발 키트를 "문서화가 잘 되어 있고 효율적"이라고 평가했으며, 하드웨어 선택에 있어 Emergent의 지원이 매우 도움이 되었다고 말했습니다.

브로드컴 NIC를 선택함으로써 RDMA/RoCEv2를 구현할 수 있었고, 이를 통해 이미지 데이터를 애플리케이션 메모리에 직접 저장할 수 있었습니다. 이는 CPU 병목 현상이나 프레임 드롭 없이 6대의 100GigE 카메라에서 데이터를 캡처하는 데 매우 중요했습니다. 또한 브로드컴 NIC는 더 비싼 대안에 비해 비용 효율적인 선택입니다.

4차원으로 동적 현상 시각화

(a) 6대의 주변 ZENITH 카메라로 초당 2,000프레임(1024 × 608 해상도)으로 동시에 촬영한 동기화된 2D 투영 프레임으로, 시선 방향의 화염 화학발광을 보여줍니다. (b) 동일한 시점에 반복적인 LSQR 및 공간 카빙 기법을 사용하여 재구성한 해당 3D 단층 촬영 볼륨을 OpenVDB 복셀 그리드로 내보내고 Blender에서 체적 렌더링하여 내부 반응 영역의 지형을 나타냅니다.

그림 5 | 다각도 투영 및 재구성된 3D 방출 밀도.

(A) 6대의 주변 ZENITH 카메라가 초당 2,000프레임(1024 × 608 해상도)으로 동시에 캡처한 동기화된 2D 투영 프레임으로, 시선 방향의 화염 화학발광을 보여줍니다.

(B) 동일한 시점에 반복적인 LSQR과 공간 카빙을 사용하여 재구성된 해당 3D 단층 촬영 볼륨을 OpenVDB 복셀 그리드로 내보내고 Blender에서 체적 렌더링하여 내부 반응 영역의 토폴로지를 나타냅니다.

영상 1 | 난류 화염 전면의 4D 입체 시각화

고해상도 입체 렌더링(OpenVDB/Blender)은 2,000fps로 촬영된 6대의 ZENITH 카메라 어레이에서 재구성된 화염 화학발광의 완전한 3D 공간 회전 및 시간적 변화를 보여줍니다.

영상 2 | 활주 아크 플라즈마 방전의 4D 단층 촬영 재구성

최대 10,000fps의 속도로 기록된 일시적인 비열 플라즈마 필라멘트의 움직임, 신장 및 재구조화에 대한 3D 체적 추적.

영상 3 | 활주 아크 방전의 고속 직접 광학 기록

수렴하는 전극 사이에서 대기 플라즈마 필라멘트의 주기적인 재충돌 및 활주 운동을 보여주는 고속 카메라 직접 촬영 영상.

연구진은 2D 카메라 뷰에서 3D 볼륨을 재구성하기 위해 Julia 언어로 맞춤형 단층 촬영 알고리즘을 개발했습니다. 이 알고리즘은 카메라 보정 및 공간 카빙을 사용하여 방출 영역의 물리적 경계를 결정한 다음, 역문제를 반복적으로 풀어 볼륨 전체에 걸쳐 방출 값을 매핑합니다. 재구성된 복셀 배열은 OpenVDB 형식으로 내보내고 Blender에서 렌더링하는데, 프레임당 약 1분이 소요됩니다. 초당 최대 10,000프레임의 캡처 속도로 생성된 4D 재구성 이미지는 마이크로초 단위의 시간 척도에서 발생하는 화염 및 플라즈마의 동적 변화를 포착합니다.

닐슨과 사네드에게 있어 목표는 단순히 연구실의 범위를 넘어섭니다. 그들은 기존의 초고속 카메라 장비를 구입할 예산이 부족한 연구자들도 다각도 고속 체적 이미징을 쉽게 이용할 수 있도록 장벽을 낮추고자 합니다.

룬드 연구팀은 최신 100기가비트급 머신 비전 카메라와 맞춤형 재구성 소프트웨어를 결합하여 복잡한 산업 및 물리 시스템에 적용 가능한 4차원 방출 단층 촬영법을 개발했습니다.

산업 공정을 새로운 차원에서 이해하기

다중 모드 진단 통합. 6대의 고속 방출 단층 촬영 카메라와 평면 레이저 유도 형광(PLIF) 및 분광 광학계를 광학 레일 시스템에 결합하여 3D 구조 추적과 국소적인 물질/온도 측정을 동시에 수행할 수 있습니다.

그림 6 | 다중 모드 진단 통합

6대의 고속 방출 단층 촬영 카메라와 평면 레이저 유도 형광(PLIF) 및 분광 광학 장치가 광학 레일 시스템에 결합되어 3D 구조 추적과 국소적인 물질/온도 측정을 동시에 수행할 수 있습니다.

이 장치를 통해 연구원들은 빠르게 변화하는 시스템을 더욱 명확하게 관찰할 수 있습니다. 연료 혼합, 가스 조성, 전력, 펄스 주파수 등의 매개변수를 조정함으로써 시간에 따른 체적 배출 구조의 변화를 추적할 수 있습니다. 이는 연소, 플라즈마 열분해, 분무 역학, 금속 분말 생산, 열 코팅 등 다양한 분야에 유용하게 활용될 수 있습니다.

4D 방출 단층 촬영을 레이저 진단 및 분광법과 결합하면 추가적인 정보를 얻을 수 있습니다. 평면 레이저와 분광기는 국소 온도, 화학종 및 라디칼 측정에 탁월하지만, 넓은 3차원적 맥락을 파악하는 데는 한계가 있습니다. 단층 촬영은 화염이나 아크의 전체 3차원 형상과 움직임을 실시간으로 추적함으로써 이러한 한계를 보완합니다. 이러한 측정들을 결합하면 연구자들은 화학 반응 속도와 국소 온도를 주변의 체적 운동과 직접적으로 연결할 수 있습니다.

더 읽어볼 만한 기사

[1] D. Sanned, S. Nilsson, A. Roth, E. Berrocal, A. Ehn 및 M. Richter, "활주 아크 플라즈마의 3D 단층 촬영 재구성" 응용 물리 편지, 권. 123, 아니. 7, p. 071104, 2023.
DOI : 10.1063/5.0161361 | AIP 출판사 기사
[2] S. Nilsson, D. Sanned, A. Roth, J. Sun, E. Berrocal, M. Richter 및 A. Ehn, "3D 단층 촬영 및 단일 샷 형광 수명 이미징을 사용한 활강 아크 방전의 전체론적 분석" 통신 공학 (네이처 포트폴리오), 제3권 제1호, 103쪽, 2024년.
DOI : 10.1038 / s44172-024-00250-z | Nature 오픈 액세스 논문