놀라운 'Journey To Immortality' 싸움 장면들을 기억하나요?
그리고 이러한 미세한 표정 변화들도 있습니다.
이러한 유려하고 생동감 있는 애니메이션 작품 뒤에는 모션 캡처 기술의 지원이 있습니다.
1915년 애니메이션 거장 맥스 플라이셔(Max Fleischer)가 영상 추적 기술인 로토스코프(Rotoscope)를 개발하면서 모션 캡처 기술의 초기 형태가 등장했습니다. 1990년 영화 《토탈 리콜》(Total Recall)에서 모션 캡처 기술이 처음으로 스크린에 등장하게 되었습니다. 21세기에 들어서면서 모션 캡처 기술은 황금기를 맞이하게 되었고, 2008년 영화 《아바타》(Avatar)는 모션 캡처 기술을 대중에게 널리 알리게 되었습니다. 이로 인해 Original Force는 국제 최첨단 모션 캡처 기술에 접근할 수 있게 되었고, 자신의 모션 캡처 기술 개발을 시작하게 되었습니다.
2020년, 실시간 UE 엔진과 실시간 모션 및 얼굴 표정 캡처 전체 애니메이션 제작 프로세스를 사용한 애니메이션 시리즈 《Journey To Immortality》이 등장하면서 중국 애니메이션의 새로운 유형을 열었습니다. Original Force는 모션 캡처 기술의 업그레이드 길을 더욱 멀리 나아갔습니다. 여기에는 실시간 온라인 모션 캡처 기술, OF_DeepFace: 신경망 기반의 무표식 실시간 얼굴 애니메이션 캡처 시스템, 데이터 처리를 위한 신경망 기반의 자동 얼굴 애니메이션 생성 시스템 등이 포함됩니다.
원력 자주 연구 업계 기술 계속 업그레이드
전통적인 애니메이션 제작에 비해 모션 캡처 기술은 인체 운동 데이터를 기록함으로써 더욱 빠르고 편리하게 인체 동작을 데이터화할 수 있습니다. 이를 통해 현실의 공연을 신속하게 가상 데이터와 기초 애니메이션으로 생성할 수 있으며, 애니메이션 제작 효율을 크게 향상시킵니다. 따라서 국산 애니메이션과 게임에서 모션 캡처 기술의 사용률이 점점 높아지고 있습니다. Original Force 마이크로소프트, 소니, EA, 넷플릭스, 텐센트 등 국제적으로 유명한 기업의 파트너로서 매년 수천 분의 모션 캡처 데이터를 수집하고 있습니다. 이 방대한 데이터베이스는 원력의 핵심 경쟁력 중 하나일 뿐만 아니라, 원력이 모션 캡처 기술을 지속적으로 최적화하고 업그레이드하는 데 깊은 데이터 지원을 제공합니다.
오늘날, Original Force 다시 한번 하드웨어와 소프트웨어 양면에서 모션 캡처의 품질과 효율성을 크게 향상시키는 두 가지 혁신적인 도구를 출시했습니다. 첫 번째는 마커 없이 듀얼 카메라로 단일 이미지에서 얼굴 모션 캡처를 수행하는 DeepFace 2.0이며, 두 번째는 신경망 기반의 모션 캡처 해석 시스템인 DeepMocap입니다!
함께 우리의 최신 성과를 확인해 봅시다!
기술 업그레이드
무표식점 쌍안 단일 이미지 전면 포획 DeepFace 2.0
2021년, 원력이 자체 개발한 무표식 얼굴 캡처 기술인 Deepface를 회사 애니메이션 영화와 시리즈의 제작 과정에 정식으로 도입하고, 업계에 전면 개방하여 애니메이션 제작 과정의 생산성을 크게 향상시켰습니다. 이를 통해 예술가들은 많은 번거로운 수작업 수정 작업에서 벗어나 예술적 표현 효과를 향상시키는 데 더 많은 노력을 기울일 수 있게 되었습니다.
최근 3년간의 사용 과정에서, 예술가와 생산 관리 부서는 자신의 프로세스 요구에 따라 Deepface에 많은 피드백을 제공했습니다. 이러한 피드백을 바탕으로 연구개발부는 목표를 정하고 문제를 해결하여, 마침내 최근에 새로운 버전의 얼굴 캡처 전체 시스템을 업데이트하고, 자체 개발한 이중 렌즈 헬멧을 기반으로 한 마커 없는 얼굴 캡처 솔루션을 정식으로 출시했습니다!
먼저 질문에 답변드리자면, 쌍안경 헬멧은 무엇인가요?
위의 움직이는 이미지에서 모션 캡처 배우가 머리에 착용한 것은 단안 헬멧으로, 이는 현재 얼굴 캡처에서 가장 흔히 사용되는 도구입니다. 하지만 단안 헬멧으로 수집한 얼굴 모션 캡처 데이터의 품질에는 여전히 결함이 있습니다. 세부 사항에서 단안 헬멧은 배우의 미세한 표정을 완벽하게 캡처할 수 없으며, 해석된 얼굴 캡처 데이터에는 예술가가 수작업으로 조정해야 할 부분이 많이 존재합니다. 이에 원력 기술 팀은 한 쪽 눈으로는 잘 캡처되지 않는다면, 두 쪽 눈으로는 어떨까 하는 기발한 생각을 하게 되었습니다.
원력 자가 연구한 양안 동작 포착 헬멧
원력 자사 개발 쌍안 동작 캡처 헬멧은 경량 쌍안 얼굴 표정 비디오 캡처 장비입니다.
헬멧의 외형 디자인은 경량화, 안정성 및 인체공학을 종합적으로 고려하였으며, 인체 측정을 통해 머리 스캔을 이용하여 머리 모양에 맞게 디자인할 수 있습니다. 이를 통해 각 사용자에게 맞춤형 외형 디자인을 제공합니다. 또한 헬멧은 나일론 소결 프린팅 기술을 사용하여 헬멧의 무게를 크게 줄이고 안정성을 강화하며, 모션 캡처 배우의 불편함을 최소화합니다. 사용자는 래칫 구조를 통해 헬멧 크기를 조절할 수 있으며, 다양한 머리 모양에 맞게 조정할 수 있습니다. 또한 카메라 각도도 조절 가능하여 배우의 몰입형 연기를 최대한 방해하지 않도록 설계되었습니다.
헬멧이 작고 가벼우면 기능에 영향을 미칠까요?
답은, 아니오입니다.
원력 자사 개발의 듀얼 카메라 모션 캡처 헬멧은 1080p, 60프레임의 영상을 동시에 2개 촬영할 수 있으며, 카메라의 단면 직경은 단 21mm로 배우의 시야를 최대한 방해하지 않습니다. 또한 헬멧에는 12개의 940nm 적외선 보조 조명이 내장되어 있어 적외선 렌즈와 함께 사용하면 얼굴 그림자를 제거하고 영상 출력을 더욱 안정적으로 합니다. 이 헬멧은 흑백 및 컬러 모드 전환을 지원합니다.
이러한 기술 구현의 핵심은 헬멧에 내장된 카드인 단일 이미지 전송 카드입니다. 이 카드는 단일 이미지 전송 수집 장치로, 상하 두 개의 카메라의 데이터 신호를 수집할 수 있습니다. 원력(原力)이 자체 개발한 하드웨어 프로그래밍을 통해 데이터를 하나의 세 가지 신호로 통합하여 출력합니다. 이미지 전송은 YUV422 인코딩 방식을 사용하며, 원력(原力)이 자체 개발한 소프트웨어를 통해 알고리즘으로 신호를 다시 분해하여 두 개의 이미지 신호로 구성할 수 있습니다.
이로써, 쌍안경 헬멧은 이중 신호 전송에 두 개의 영상 전송 카드를 사용해야 하는 제한을 깨고, 데이터 수집의 대역폭 부담을 줄이며, 두 개의 수집 카드로 인해 발생할 수 있는 하드웨어 장비의 무게 과다 문제도 크게 완화했습니다.
싱글 보드 카드 단면 구조도
사용한 많은 기술 업그레이드로 인해 효과가 어떻게 향상되었나요?
단안 얼굴 캡처와 양안 얼굴 캡처 효과 비교
원력 기술팀은 DeepFace 내부 알고리즘을 단일 이미지 입력에서 이중 이미지 입력으로 변경하고, 기존 네트워크 구조를 개선하여 네트워크 층을 깊게 하고 잔차 모듈을 추가했습니다. 이를 통해 네트워크가 캐릭터 애니메이션과 배우의 연기 간의 대응 관계를 더 정확하게 학습할 수 있게 되었습니다. 가장 직관적인 표현은 이중 이미지 입력을 사용한 얼굴 캡처가 정밀한 동작 포착(예: 눈이 완전히 감겼는지 여부 및 입의 미세한 개폐)에서 단일 이미지 입력을 사용한 얼굴 캡처 해석 네트워크보다 훨씬 우수하다는 점입니다.
시스템 업데이트
신경망 기반의 모션 캡처 해석 시스템 DeepMocap
수집 방식에 따라 모션 캡처 기술은 관성 모션 캡처, 광학 모션 캡처 및 얼굴 표정 캡처 등으로 나눌 수 있습니다. 현재 시장에서 가장 흔한 것은 광학 모션 캡처로, 이는 전통적인 알고리즘을 사용합니다. 작동 원리는 캡처된 광점을 기준으로 알고리즘 시스템이 3D 공간에서 뼈대의 움직임 데이터를 계산하는 것입니다.
전통적인 프로세스에는 매우 두드러진 문제가 하나 있습니다. 바로 신호가 불안정하다는 점입니다. 광학 캡처 프로세스에서는 캡처된 광점 마커의 위치가 자주 가려지거나 잘못 인식되어 골격 정보 해석에 오류가 발생합니다. 따라서 전통적인 캡처 프로세스에서는 이러한 수집 오류 정보를 수작업으로 수정하는 데 많은 인력이 필요하며, 이로 인해 생산 효율이 저하됩니다.
Original Force 3년간의 심도 있는 연구 끝에 빛 점과 마커 점을 캡처하여 신경망을 사용해 직접적으로 골격 데이터를 계산하는 심층 학습 알고리즘과 해당 애플리케이션 도구를 개발했습니다. 먼저 효과를 비교해 보겠습니다.
더 명확한 비교 효과를 위해 재생 속도를 원래 속도의 약 70%로 설정합니다.
배우의 정상 데이터 캡처 광점 색상과 배우의 해당 뼈대 색상이 일치하며, 빨간색 점은 인식할 수 없는 마커의 캡처 광점이고, 빨간색 뼈대는 동작 인식 오류가 있는 뼈대입니다.
전통적인 모션 캡처 해석 소프트웨어에서는 여러 배우가 얽히거나 상호작용하는 매우 가까운 동작으로 인해 캡처된 마커 포인트가 가려지거나, 배우의 특수 동작으로 인해 캡처된 마커 포인트가 가려져서 손실되고 복구할 수 없는 경우, 전통적인 모션 캡처 해석 소프트웨어는 올바른 뼈 위치를 인식할 수 없습니다. 반면, 원력 자사의 신경망 기반 모션 캡처 해석 시스템인 DeepMocap은 이 문제를 잘 해결할 수 있습니다.
DeepMocap 알고리즘은 무엇인가요?
그것은 어떻게 그런 효과를 내는가?
DeepMocap 알고리즘은 대량의 실제 생산 모션 캡처 데이터를 기반으로 하며, 선험 분포에 부합하는 데이터 증강을 통해 모션 캡처 데이터를 훈련 데이터셋으로 사용합니다. 이 알고리즘은 두 개의 주요 네트워크로 구성됩니다: 전처리 네트워크는 transformer 구조를 채택하여 입력된 캡처 광점 마커의 위치 데이터를 처리하고, 후처리 네트워크는 그래프 컨볼루션을 사용하여 정보를 추출하며, Encoder-Decoder 구조를 통해 캡처 광점 마커 데이터와 골격 데이터를 연관시켜 불완전하거나 잘못된 캡처 광점 마커 데이터에서도 정확한 골격 애니메이션 데이터를 계산해냅니다. 네트워크 훈련이 완료된 후에는 부정확한 캡처 광점 마커 데이터가 입력되더라도 DeepMocap은 여전히 합리적이고 정확한 골격 애니메이션 데이터를 계산해낼 수 있습니다.
본 시스템은 두 가지 해석 모듈을 포함합니다: 실시간 해석 모듈과 후처리 해석 모듈로, 플러그인 형태로 모션 캡처 소프트웨어 Motionbuilder에 통합됩니다. 이후 우리는 시스템에 최종 애니메이션 데이터를 향상시키기 위한 더 많은 최적화 모듈을 추가할 계획입니다. 예를 들어, 해석된 자연스럽지 않은 동작 데이터를 신경망을 통해 자연스럽고 부드러운 골격 애니메이션 데이터로 조정하는 것과, 서로 다른 주요 자세(pose) 사이에 자연스러운 전환 애니메이션을 자동으로 생성하는 도구 모듈 등을 추가할 예정입니다.
종합해보면, 전통적인 프로세스에 비해 본 시스템은 두 가지 주요 이점이 있습니다.
1. 전통적인 프로세스에 비해, 본 시스템은 광점 마커의 손실 또는 잘못된 마킹에 대한 내성이 더 높습니다. 실시간 솔버 모듈은 광점 마커가 손실되거나 잘못 표시되었을 때도 상대적으로 합리적인 골격 위치를 제공하여 촬영 기술자가 실시간 효과를 확인할 수 있도록 합니다. 또한, 훈련 데이터 세트가 계속해서 확장됨에 따라 네트워크는 지속적으로 반복 최적화되어 최종 솔버 효과를 지속적으로 향상시킬 수 있습니다.
2. 후처리 해석 모듈은 전후 프레임 데이터 정보를 활용하여 해석 결과의 정확성을 더욱 높일 수 있으며, 모션 캡처 촬영 인원이 프레임별로 캡처된 마커 데이터를 수정하여 합리적인 골격 애니메이션 데이터를 생성하는 작업량을 크게 줄일 수 있습니다. 이는 많은 생산 시간과 인력 비용을 절감할 수 있습니다.
이 하드웨어+소프트웨어 조합을 통해 Original Force 기존 모션 캡처 기술에서 흔히 발생하는 두 가지 주요 문제인 정밀한 동작 캡처의 부재와 골격 위치 계산의 비효율성을 성공적으로 최적화했습니다. 이 기술 혁신은 Original Force 의 자체 프로젝트 생산에 강력한 기술 동력을 주입했을 뿐만 아니라, 업계의 모션 캡처 분야에도 새로운 활력을 불어넣어 모션 캡처의 품질과 효율성을 대폭 향상시키고 인력 생산성을 해방시켰습니다.
미래에는 원력(原力)이 지속적으로 업계 주요 기술을 최적화하고 혁신하여 고객에게 더욱 효율적이고 전문적인 3D 디지털 콘텐츠 서비스를 제공할 것입니다. 현재 Original Force 이러한 기술을 업계에 전면적으로 개방하여 협력을 모색하고 있으며, 이를 통해 모션 캡처 기술과 디지털 기술이 더 많은 산업 분야에서 응용되고 발전할 수 있도록 탐색과 피드백을 통해 확장해 나갈 것입니다.
위의 기술에 관심이 있으시고 원력 연구개발 부서와 더 깊은 교류와 협력을 원하신다면 dev@of3d.com으로 이메일을 보내 원력과 연락하십시오.
메시지
상단