산업용 AI: 딥 러닝이 머신 비전 시스템을 보완하는 방법

산업 자동화 분야에서는 인공지능(AI)이 큰 화두가 되었습니다. 과대 광고는 제쳐두고, AI는 산업 공간에서 틈새 시장을 개척하여 적절하게 설계하고 구현하면 공장 현장에 엄청난 가치를 제공합니다. 인간 두뇌의 학습 과정을 모방하는 CNN(Convolutional Neural Network)과 같은 신경 네트워크를 사용하는 AI의 하위 집합인 딥 러닝(Deep Learning)은 주관적인 검사 결정 및 장면 검사를 지원하는 기능으로 인해 인기 있는 산업용 AI 도구로 부상했습니다. 높은 가변성이나 복잡성으로 인해 특정 기능을 식별하는 것이 어려운 경우. 

딥 러닝 솔루션을 선택할 때 제조업체에는 PyTorch 또는 TensorFlow와 같은 확립된 프레임워크를 활용하여 사내 솔루션 프로그래밍을 포함하여 여러 가지 옵션이 있습니다. 제조업체는 기성 솔루션을 구매하거나 애플리케이션별 AI 지원 시스템 또는 제품을 선택할 수도 있습니다. 

그러나 딥러닝은 독립형 기술이 아닙니다. 오히려 기존 방식과 함께 배포할 경우 머신 비전 기술을 통해 전자 및 반도체 검사, 소비재 검사, 자동차 검사 등의 응용 분야에 배포된 산업 자동화 시스템의 전반적인 기능을 향상시키는 강력한 자동 검사 도구가 됩니다.

머신 비전은 하드웨어 세트를 의미합니다. 카메라s, 광학 및 조명 — 적절한 소프트웨어는 머신 비전 시스템이 수행한 이미지 분석을 기반으로 기업이 특정 기능을 실행하도록 돕습니다. 머신 비전 애플리케이션의 네 가지 주요 범주는 검사, 식별, 안내 및 측정이며, 모든 시스템의 중심에는 구성 요소 기능, 신뢰성 및 유용성을 높이는 데 도움이 되는 소프트웨어가 있습니다.

기존의 머신 비전 소프트웨어는 상당한 양의 자동화된 이미징 작업을 수행할 수 있는 개별 규칙 기반 알고리즘을 나타냅니다. 일반적인 머신 비전 알고리즘의 예로는 가장자리 감지, 이미지 변환, 콘텐츠 통계, 상관 관계, 기하학적 검색, OCR/OCV 및 상관 관계가 있습니다. 딥 러닝을 머신 비전 시스템에 통합할 때 딥 러닝을 모든 머신 비전 애플리케이션에 배포할 수는 없다는 점을 기억하는 것이 중요합니다.

물론 특정 애플리케이션에서는 딥 러닝이 기존 접근 방식이 채울 수 없는 격차를 메울 수 있습니다. 예를 들어, 용접을 검사하는 머신 비전 시스템은 용접 이미지에서 특정 세부 사항을 찾지만 각 용접은 고유하기 때문에 소프트웨어가 알고리즘을 통해 정의하기가 어렵습니다. 반면에 딥 러닝은 사람이 용접을 검사하는 방법과 유사하게 보다 주관적인 특징을 식별할 수 있습니다. 금색 이미지와 동일하게 보이지 않는 약간 비정질 용접이 반드시 결함이 있는 용접과 동일하지는 않습니다.

그림 1 : 인간의 두뇌를 모델로 한 신경망은 컴퓨터가 훈련 사례를 기반으로 특정 작업을 수행하는 방법을 학습할 수 있도록 하는 딥 러닝 알고리즘의 핵심인 머신 러닝의 하위 집합입니다.

딥 러닝이 어떤 수준의 성공을 거두려면 고품질 데이터 세트를 생성해야 합니다. 제조업체는 "양호한 이미지"와 함께 감지해야 하는 결함 또는 특징의 클래스를 묘사하는 이미지를 업로드하여 초기 데이터세트를 생성할 수 있습니다. 해당 분야 전문가로 구성된 팀은 초기 데이터 세트에 레이블을 지정하고 모델을 교육하고, 원본 데이터 세트의 테스트 이미지로 결과를 검증하고, 프로덕션 성능을 테스트하고, 새로운 사례, 기능 또는 결함을 다루기 위해 모델을 재교육할 수 있습니다. 이 작업이 완료되고 머신 비전 시스템에 딥 러닝을 구현하기 위한 모든 요소가 고려되면 소프트웨어는 결함 감지, 기능 분류 및 어셈블리 검증은 물론 복잡하거나 매우 가변적인 장면을 검사하는 데 도움을 줄 수 있습니다. 혼합된 부품이나 제품이 포함된 빈 피킹과 같은 특정 특징을 식별하는 것이 어려울 수 있습니다.

진부한 표현일 수도 있지만, 딥 러닝 애플리케이션을 개발할 때 "쓰레기가 들어가면 쓰레기가 나온다"는 것은 사실입니다. 기존 머신 비전 접근 방식과 마찬가지로 딥 러닝 애플리케이션은 열악한 조명이나 광학 설계를 극복할 수 없으며 훈련 및 라벨링을 위한 고품질 데이터 세트를 생성하려면 여전히 고품질 이미지가 필요합니다. 이는 이미지에 충분한 대비를 제공하기 위해 최적의 조명 설정을 구현하거나 경우에 따라 특수 조명 구성표를 구현하는 것을 의미합니다. 예를 들어, 특정 응용 분야에서는 단일 부품에 대해 여러 번의 검사가 필요할 수 있습니다. 이는 존재 여부 또는 물체의 크기나 모양 확인과 같은 사물에 대해 서로 다른 조명 설정을 의미합니다.

물론 조명은 머신 비전이나 딥 러닝 애플리케이션의 성공에 매우 중요하지만 시스템은 필요한 속도와 해상도로 이미지를 캡처하는 카메라의 능력을 중심으로 진행됩니다. 이미지는 가능한 최상의 기능 대비를 갖춘 대상 응용 프로그램에 대한 올바른 해상도여야 합니다. 그러나 여러 가지 다른 응용 프로그램 제약 조건 및 고려 사항도 고려해야 합니다. 여기에는 크기, 무게, 전력, 이미징되는 개체의 속도, 스트리밍 및 기록이 포함됩니다. , 컬러 대 흑백, 최소 결함 크기 및 최소 시야.

부품이나 피사체가 매우 빠르게 움직이고 세부 사항을 분석하기 위해 객체의 동작을 정지시키는 시스템이 필요한 고속 애플리케이션에는 고속 카메라가 필요하고, 높은 수준의 세부 정보가 필요한 시스템에는 고속 카메라가 필요합니다. 해상도 이미지 센서. Emergent Vision Technologies는 산업용 설계 및 개발을 전문으로 합니다. 고속 카메라 이는 오늘날 머신 비전 시장에서 사용할 수 있는 가장 높은 프레임 속도와 해상도를 제공합니다.

그림 2 : Intracker.ai 도구는 동물의 종이나 크기에 관계없이 표시가 없는 개별 동물의 위치를 ​​식별하고 추적합니다. 이 애플리케이션에서 연구원들은 Emergent의 20MP 10GigE 카메라를 사용하여 100%의 정확도로 99.9마리의 어린 제브라피시 집단을 추적했습니다.

확립된 것을 활용하여 GigE 비전 및 GenICam 표준, Emergent 머신 비전 카메라 독점 획득 하드웨어나 케이블 연결 없이 호환 소프트웨어 애플리케이션에 원활하게 통합될 수 있습니다. 응급의 10GigE, 25GigE및 100GigE 카메라 대량의 데이터를 생성한 후 산업용 PC와 같은 호스트 장치에 빠르고 안정적으로 전송해야 하는 애플리케이션을 위해 100MP+ 이상의 해상도와 3500fps에 가까운 프레임 속도를 제공합니다.

Emergent 카메라는 이더넷을 연결 인터페이스로 사용하여 센서 해상도나 속도를 희생하지 않고도 최대 100Gbps의 연결 속도를 제공합니다. 또한 카메라는 IEEE1588 PTP를 사용하여 CPU 사용률 없이 1μs 미만의 속도로 이벤트의 고속 이미지 캡처를 위해 동기화할 수 있으며 최대 10KM 케이블 길이에서 절대 최소 CPU 사용률, 메모리 대역폭, 대기 시간 및 지터를 사용할 수 있습니다.

아래 비디오는 훈련된 자체 추론 모델을 추가하고 테스트하여 임의 객체의 감지 및 분류를 수행하는 방법을 보여줍니다. PyTorch 또는 TensorFlow로 모델을 훈련하고 이를 eCapture Pro 플러그인에 추가하기만 하면 됩니다. 그런 다음 플러그인을 인스턴스화하고 원하는 카메라에 연결한 후 실행을 클릭하세요. 이보다 더 쉬운 일은 없습니다.

오늘날 많은 애플리케이션은 컴퓨팅 전력 요구 사항을 처리하기 위해 딥 러닝 작업에 NVIDIA GPU를 사용합니다. Emergent의 머신 비전 카메라는 NVIDIA와도 호환됩니다. GPU다이렉트 이미지를 GPU 메모리로 직접 전송할 수 있는 기술입니다. GPUDirect 기술을 활용하는 한 Emergent 고객의 경우 이는 다음을 기반으로 하는 시스템을 배포하는 것을 의미했습니다. Bolt HB-12000-SB 25GigE 카메라, 서버 100개 및 CPU, 듀얼 포트 XNUMXG XNUMX개 네트워크 인터페이스 카드 (NIC), 24x 포트 스위치 XNUMX개, NVIDIA GPU XNUMX개.

이 시스템에서 고객은 24x 배포 HB-12000-SB 카메라12.4MP Sony Pregius S IMX535를 탑재하여 60fps로 이미지를 캡처하고 데이터를 GPU로 직접 전송하여 데이터 손실 없는 이미징 CPU 사용률이 XNUMX이고 메모리 대역폭이 XNUMX입니다. 와 함께 H.265 압축, 이미지를 디스크에 로컬로 저장할 수도 있고 YouTube와 같은 RTMP(실시간 메시징 프로토콜) 클라이언트로 스트리밍할 수도 있습니다. GPUDirect와 같은 혁신적인 처리 기술을 활용하면 최종 사용자는 프레임 손실에 대한 걱정 없이 대량의 데이터를 빠르고 효율적으로 획득, 전송 및 처리할 수 있습니다.

추가 카메라 옵션에 대해서는 당사를 확인하세요. 대화형 시스템 디자이너 도구.