2018년 10월 11일 목요일

[2013. 3. 21] Kinect 를 활용한 Facial Motion Capture with Faceshift and Project Pinocchio Character


마이크로 소프트가 게임용 동작인식 장치인 키넥트를 발매해 판매하는 것은 이미 알고 계실 것입니다.
이 키넥트는 닌텐도Wii와 비슷하지만, Wii가 컨트롤러를 인식하는 것에 비해 키넥트는 사람자체의 동작을 인식할 수 있다는 것이 큰 차이죠... 즉 개인용 모션캡쳐장비에 가깝습니다...
심지어 얼굴표정 변화도 감지할 수 있습니다.
다음 영상은 이를 이용해서 표정 애니메이션을 테스트한 것입니다.
얼굴만 했고, 몸은 전혀 캡쳐하지 않았다고 합니다.
그리고 캡쳐한 그대로를 반영한 것이라서 느낌은 불완전하고, 안정적이지는 못합니다만, 이를 잘 편집해서 애니메이션을 제작할 수 있는 가능성은 보입니다...
즉, 개인용 모션(표정)캡쳐 장비의 출현이 가능한 것이죠^^
 


작업 파이프라인은 키넥트와 FaceShift로 표정모션을 캡쳐한 것이구요.
캐릭터는 최근 AutoDesk가 추진하고 있는 피노키오 프로젝트(사람 캐릭터를 여러 옵션을 선택해 커스터마이징 한 후에 3D모델로 다운받아서 사용할 수 있는 라이브러리를 제공)에서 FBX파일로 다운받은 후에 역시 FBX포맷으로 FaceShift로 Import해서 모캡을 위한 타겟캐릭터로 사용한 것입니다.
모캡 데이터는 타겟에 레코드되고 적용되서 역시 FBX로 마야로 보내졌습니다.
머리, 눈 과 목만 적용되었고 몸은 적용되지 않아서 멈춰있죠.
 
Raw unedited facial motion capture from the Kinect + Faceshift. Character created with the Autodesk Project Pinocchio site and downloaded as FBX. The character FBX was imported into Faceshift as a Target character for mocap. Blendshapes remapped to the Faceshift standard morph targets. Mocap was recorded and applied to the Target and then exported as FBX into Maya. Left only the head and eyes and neck animated. NO animation on the rest of the body.
 
 https://youtu.be/HpH3fA29U1I


다음은 모션 캡쳐에 관한 것이구요...
 iPi soft(아이파이)를 사용하네요...
 이것도 싼 소프트는 아닌데 ^^;
 다만 iPi recording 소프트웨어는 프리이긴합니다... 이걸로 캡쳐받은 후에 FBX로 Export할 수 있는지는 모르겠습니다. 이렇게 되면, 다른 3D툴에서 보정하면 되긴 하는데 말이죠.
 그런데 이 iPi soft가 편집, 보정은 대단히 편리하네요...
 우선 캡쳐레코딩을 하고 실시간으로 모션보정을 하는데, 아마도 Retarget 방식으로 Retargeted 캐릭터를 유저가 보정하는 위치,회전에 따라 전체적인 프레임을 아주 빠르게 실시간으로 매우 그럴싸하게 보정하는 것으로 보입니다... 
 시연자도 정확한 설명은 없어서요... 
 이분이 이 소프트를 개발한 분은 아니고, 모션캡쳐 데이터를 값싸게 팔고 있네요... 그러한 홍보차원의 영상이라서요... 
 마지막으로 영상에서도 얘기하고 있지만, 집에서 사다리 올라가서 모션하고 하는거 따라하지 마세요! 위험합니다... 이분 시연자는 트레인된 숙련자입니다 ^^ㅎㅎㅎ 
 
 

댓글 없음:

댓글 쓰기