블렌더 강좌 2.91 - OpenCV - 웹캠으로 얼굴 모션 캡쳐 - Facial Motion Capture with Webcam - 캐공방TV

 

블렌더 강좌 2.91 - OpenCV - 웹캠으로 얼굴 모션 캡쳐 - Facial Motion Capture with Webcam - 캐공방TV

 

 

값비싼 장비와 소프트웨어 없이

 

무료 소프트웨어와 웹캠만으로

 

얼굴 모션 캡쳐하는 방법을 소개 하겠습니다.

 

윈도우 10 환경에서 테스트 했습니다.

 

 

github.com/jkirsons/FacialMotionCapture_v2

jkirsons/FacialMotionCapture_v2

 

 

파일을 첨부하겠습니다.

 

FacialMotionCapture_v2-master.zip

0.01MB

 

필요한 파일

 

캐릭터 모델링 파일

 

Vincent.blend

 

https://cloud.blender.org/p/characters/ 

Characters - Blender Cloud

 

 

캐릭터 모델링의 얼굴 마커 정보와 관련된 텍스트 파일

 

lbfmodel.yaml

 

Download 버튼을 누르면 됩니다.

 

https://github.com/kurnianggoro/GSOC2017/blob/master/data/lbfmodel.yaml 

kurnianggoro/GSOC2017

 

 

OpenCVAnimOperator.py 파일을 열어 보면

 

윈도우에서 설치 방법이 주석으로 나와 있습니다.

 

커맨드창을 관리자 권한으로 실행해야 합니다.

 

Windows:
Open Command Prompt as Administrator
cd "C:\Program Files\Blender Foundation\Blender 2.91\2.91\python\bin"
python -m pip install --upgrade pip
python -m pip install opencv-contrib-python numpy

 

 

Vincent.blend 파일을 오픈 할 때

 

파이썬 스크립트 실행을 허용해야 합니다.

 

 

Scripting 탭에서

 

OpenCVAnimOperator.py 을 오픈합니다.

 

 

OpenCVAnimOperator.py 에서 소스 수정해야할 부분

 

landmark_model_path = "D:\\kts\\blender\\classtalk\\addon\\openCV\\lbfmodel.yaml"    #Windows

 

 

웹캠이 없어서 동영상으로 테스트할 경우 소스 수정해야할 부분 

 

            #self._cap = cv2.VideoCapture(0) 
            veoFile1 = 'D:/mp4/blender/openCV/openCVtest.mp4' 
            self._cap = cv2.VideoCapture(veoFile1)

 

 

소스가 수정 되었으면 실행합니다.

 

 

OpenCVAnim.py 는 소스 수정할 것 없이 오픈하고 실행하면 됩니다.

 

 

 

Layout 탭에 가서

 

OpenCV Animation 버튼을 클릭하고

 

오른쪽 Tool - Active Tool 패널에서 Capture 버튼을 클릭하면

 

웹캠이나 동영상을 통해 얼굴을 추적하면서

 

캐릭터의 얼굴이 움직이는 것을 볼 수 있습니다.

 

 

 

여기까지는 인터넷에 올라와 있는 외국 유튜브 영상을 통해 공부한 내용이구요.

 

 

다음에는 캐릭터 크리에이터에서 생성하고

 

Auto-Rig Pro 로 리깅한 캐릭터를 가지고

 

웹캠을 통해 얼굴 모션 캡쳐하는 것을 시도해 보겠습니다.

 

 

추신)

 

좀 공부해 본 결과를 말씀 드리겠습니다.

 

OpenCVAnimOperator.py

 

에서 본의 이름을 수정하고

 

bones = bpy.data.objects["rig"].pose.bones

 

턱, 눈썹, 눈꺼풀 본의 이름을 수정하고

 

값을 좀 변경하면 모션 캡쳐가 되기는 됩니다.

 

 

그런데 제가 캐릭터 최적화를 안해서

 

속도가 느려서

 

캡쳐 반응 속도 퀄리티가 떨어지고

 

캡처가 안정적이지 않고

 

떨림 현상이 있어서 사용하고 싶지 않더군요.

 

 

그냥 기존에 음원의 소리 크기에 따라

 

입싱크를 자동으로 만들고

 

눈 자동 깜박이게 하는게 더 낳다는 결론을 얻었습니다.

 

모캡은 장비가 좋지 않으면 권하고 싶지 않습니다.

 

 

굳이 모캡을 사용하고 싶으시다면

 

요즘은 Depth Camera 가 장착된

 

아이폰X 모델 이후 제품과

 

유료 소프트웨어가 필요합니다.

 

 

블렌더 애드온으로는 Faceit 이라는 것이 있고

 

여유가 되시면 iClone7 을 구매할 수도 있습니다만

 

모캡은 필요에 따라 장비와 소프트웨어 구입 비용이 점점 많이 들어갑니다.

 

사업이 아닌 취미라면 모캡은 추천하지 않습니다.

 

 

그냥 수작업으로도 얼마든지 애니메이션을 만들 수 있다고 생각합니다.

 

Character Creator 3

Auto-Rig Pro

Animation Layers

 

이 정도만 구매를 추천합니다.

 

 

강좌 보시느라 수고하셨습니다.^^

 

 

2020/12/07 - [3D Work/블렌더 강좌] - 블렌더 강좌 2.91 - 무료 애드온 - SIMPLE ASSET MANAGER - 캐공방TV

블렌더 강좌 2.91 - 무료 애드온 - SIMPLE ASSET MANAGER - 캐공방TV

 

 

2020/09/03 - [예수님] - 먼저 그 나라와 의를 구하라

먼저 그 나라와 의를 구하라

 

 

2020/09/02 - [블렌더 강좌] - 블렌더 강좌 2.81a 캐릭터 제작 OT 영상 소개

블렌더 강좌 2.81a 캐릭터 제작 OT 영상 소개