얼굴 및 신체 움직임을 포착하는 시스템 및 방법(SYSTEM AND METHOD FOR CAPTURING FACIAL AND BODY MOTION)

(19) 대한민국특허청(KR)
(12) 등록특허공보(B1)
(45) 공고일자 2010년01월21일
(11) 등록번호 10-0938021
(24) 등록일자 2010년01월13일
(51) Int. Cl.

G06T 7/20 (2006.01) G06T 15/70 (2006.01)
G06T 17/00 (2006.01) G06T 15/00 (2006.01)
(21) 출원번호 10-2007-7015244
(22) 출원일자 2005년11월30일
심사청구일자 2007년07월19일
(85) 번역문제출일자 2007년07월03일
(65) 공개번호 10-2007-0094757
(43) 공개일자 2007년09월21일
(86) 국제출원번호 PCT/US2005/043366
(87) 국제공개번호 WO 2006/060508
국제공개일자 2006년06월08일
(30) 우선권주장
11/004,320 2004년12월03일 미국(US)
(56) 선행기술조사문헌
US6324296 A*
US6633294 A*
KR1020030085275 A
*는 심사관에 의하여 인용된 문헌
(73) 특허권자
소니 주식회사
일본국 도쿄도 미나토쿠 코난 1-7-1
소니 픽쳐스 엔터테인먼트, 인크.
미국 90232 캘리포니아주 컬버 시티 웨스트 워싱
턴 불러바드 10202
(72) 발명자
고든, 데미안
미국 90291 캘리포니아주 베니스 에이피티. 에이
마켓 스트리트245
(74) 대리인
이중희, 장수길
전체 청구항 수 : 총 22 항 심사관 : 김흥수
(54) 얼굴 및 신체 움직임을 포착하는 시스템 및 방법
(57) 요 약
움직임을 포착하는 시스템 및 방법은 복수의 신체점을 정의하는 신체 마커(body marker) 및 복수의 얼굴점을 정
의하는 얼굴 마커(facial marker)를 갖는 적어도 하나의 연기자(actor)를 포함하도록 구성되어 있는 움직임 포착
볼륨(motion capture volume)을 포함한다. 움직임 포착 볼륨의 주변에 복수의 움직임 카메라(motion camera)가
배열되어 있다. 이들 움직임 카메라는 움직임 포착 볼륨 내에서 움직이고 있는 동안 연기자의 모든 측방 노출
표면이 실질적으로 항상 복수의 움직임 카메라 중 적어도 하나의 시야 내에 있도록 배열되어 있다. 움직임 포착
프로세서는 연기자의 결합된 신체 및 얼굴 움직임을 반영하는 디지털 모델을 생성하기 위해 복수의 움직임 카메
라에 연결되어 있다. 적어도 하나의 마이크가 움직임 포착 볼륨으로부터의 오디오를 픽업하도록 배향될 수
있다.
대 표 도 - 도1
- 1 -
등록특허 10-0938021
특허청구의 범위
청구항 1
움직임을 포착하는 시스템으로서,
복수의 신체점(plural body points)을 정의하는 신체 마커들(body markers) 및 복수의 얼굴점을 정의하는 얼굴
마커들을 갖는 적어도 한 명의 연기자를 포함하는 움직임 포착 볼륨(a motion capture volume) - 상기 신체 마
커들은 상기 얼굴 마커들에 비해 크기가 큼 - 과,
상기 움직임 포착 볼륨의 주변에 배열된 복수의 움직임 카메라 - 상기 움직임 카메라들은, 상기 적어도 한명의
연기자의 측면으로 노출된 모든 표면들이 상기 움직임 포착 볼륨 내에서 움직이고 있는 동안에 항상 상기 복수
의 움직임 카메라 중 적어도 하나의 시야(a field of view) 내에 있도록 배열되어 있음 - 와,
상기 복수의 움직임 카메라에 연결되어 상기 복수의 움직임 카메라로부터 움직임 포착 데이터를 동시에 수신하
고 상기 적어도 한 명의 연기자의 결합된 신체 및 얼굴 움직임을 반영하는 디지털 표현을 생성하는 움직임 포착
데이터 처리 시스템을 포함하고,
상기 신체 움직임은 연기자의 머리, 몸통, 팔 및 다리의 상대적으로 대규모의 근육 이동(relatively large-
scale muscle movements)을 더 포함하고, 상기 얼굴 움직임은 얼굴 표정을 형성하는데 있어서의 얼굴 근육의 상
대적으로 소규모의 근육 이동(relatively small-scale muscle movements)을 더 포함하는, 움직임 포착 시스템.
청구항 2
제1항에 있어서,
상기 움직임 포착 볼륨은 복수의 섹션으로 세분되는 직사각형 영역을 포함하는 바닥 영역을 더 포함하는 움직임
포착 시스템.
청구항 3
제1항에 있어서,
상기 복수의 움직임 카메라는 상기 복수의 움직임 카메라 중에서 선택된 제1 그룹의 카메라를 포함하고, 상기
제1 그룹의 카메라는 제1 높이에서 상기 움직임 포착 볼륨으로부터 가장 멀리 떨어져 위치하고 상기 움직임 포
착 볼륨을 향하여 배향되어 있는 움직임 카메라들을 포함하는, 움직임 포착 시스템.
청구항 4
제3항에 있어서,
상기 복수의 움직임 카메라는 상기 복수의 움직임 카메라 중에서 선택된 제2 그룹의 카메라를 포함하고, 상기
제2 그룹의 카메라는 상기 제1 높이보다 더 높은 제2 높이에 있고 상기 제1 그룹의 카메라보다 상기 움직임 포
착 볼륨에 더 가까이 위치해 있는 움직임 카메라들을 포함하고, 상기 제2 그룹의 카메라는 상기 움직임 포착 볼
륨을 향하여 배향되어 있는 움직임 포착 시스템.
청구항 5
제4항에 있어서,
상기 복수의 움직임 카메라는 상기 복수의 움직임 카메라 중에서 선택된 제3 그룹의 카메라를 포함하고, 상기
제3 그룹의 카메라는 상기 제2 높이보다 더 높은 제3 높이에 있고 상기 제2 그룹의 카메라보다 상기 움직임 포
착 볼륨에 더 가까이 위치해 있는 움직임 카메라들을 포함하고, 상기 제3 그룹의 카메라는 상기 움직임 포착 볼
륨을 향하여 배향되어 있는 움직임 포착 시스템.
청구항 6
제2항에 있어서,
상기 복수의 섹션 각각은 10 피트 × 10 피트의 영역을 포함하는 움직임 포착 시스템.
- 2 -
등록특허 10-0938021
청구항 7
제2항에 있어서,
상기 복수의 움직임 카메라는 복수의 그룹으로 편성되고, 상기 복수의 그룹 중 각각의 그룹은 적어도 40 개의
움직임 카메라를 포함하고, 상기 복수의 그룹 중 각각의 그룹 내의 움직임 카메라들은 상기 복수의 섹션 중 대
응하는 섹션들 상으로 초점이 맞추어져 있는 움직임 포착 시스템.
청구항 8
제1항에 있어서,
상기 움직임 포착 볼륨은 400 제곱 피트의 바닥 영역을 더 포함하는 움직임 포착 시스템.
청구항 9
제1항에 있어서,
상기 움직임 포착 데이터 처리 시스템은, 상기 복수의 움직임 카메라에 연결되어 있고, 상기 복수의 움직임 카
메라에 의해 포착된 움직임을 나타내는 데이터를 포함하는 2차원(2D) 데이터 파일들을 상기 복수의 움직임 카메
라로부터 수신되고 상기 복수의 움직임 카메라에 의해 포착된 상기 움직임과 연관된 신호들에 기초하여 생성하
는 데이터 네트워크를 더 포함하는 움직임 포착 시스템.
청구항 10
제9항에 있어서,
상기 움직임 포착 데이터 처리 시스템은 상기 데이터 네트워크에 연결되어 있고 상기 2D 데이터 파일들을 저장
하는 마스터 서버를 더 포함하는 움직임 포착 시스템.
청구항 11
제10항에 있어서,
상기 움직임 포착 데이터 처리 시스템은, 상기 마스터 서버에 연결되어 상기 2D 데이터 파일들의 자동화된 재구
성을 수행하고, 상기 마스터 서버에 의해 후속적으로 저장되는 3차원(3D) 애니메이션 파일들을 생성하는 재구성
렌더링 네트워크를 더 포함하는 움직임 포착 시스템.
청구항 12
제10항에 있어서,
상기 움직임 포착 데이터 처리 시스템은, 상기 마스터 서버에 연결되고 정확한 데이터 포착을 검증하기 위해 상
기 2D 데이터 파일들을 검사하는 아티스트 네트워크를 더 포함하는 움직임 포착 시스템.
청구항 13
움직임을 포착하는 방법으로서,
복수의 신체점을 정의하는 신체 마커들 및 복수의 얼굴점을 정의하는 얼굴 마커들을 갖는 적어도 한 명의 연기
자를 포함하는 움직임 포착 볼륨을 정의하는 단계 - 상기 신체 마커들은 상기 얼굴 마커들에 비해 크기가 큼 -
와,
상기 움직임 포착 볼륨의 주변에 복수의 움직임 카메라를 배열하는 단계 - 상기 움직임 카메라들 각각은, 상기
적어도 한 명의 연기자의 측면으로 노출된 모든 표면들이 상기 움직임 포착 볼륨 내에서 움직이고 있는 동안에
항상 상기 복수의 움직임 카메라 중 적어도 하나의 시야 내에 있도록 배열되어 있음 - 와,
상기 적어도 한 명의 연기자의 결합된 신체 및 얼굴 움직임을 반영하는 디지털 표현을 생성하기 위해 상기 복수
의 움직임 카메라로부터 움직임 포착 데이터를 동시에 수신하고 상기 움직임 포착 데이터를 처리하는 단계를 포
함하고,
상기 신체 움직임은 연기자의 머리, 몸통, 팔 및 다리의 상대적으로 대규모의 근육 이동을 더 포함하고, 상기
- 3 -
등록특허 10-0938021
얼굴 움직임은 얼굴 표정을 형성하는데 있어서의 얼굴 근육의 상대적으로 소규모의 근육 이동을 더 포함하는,
움직임 포착 방법.
청구항 14
제13항에 있어서,
상기 움직임 포착 볼륨은 바닥 영역을 더 포함하고, 상기 정의하는 단계는 복수의 섹션으로 세분되는 직사각형
영역으로서 상기 바닥 영역을 정의하는 단계를 더 포함하는 움직임 포착 방법.
청구항 15
제14항에 있어서,
상기 배열하는 단계는 상기 움직임 포착 볼륨의 주변 영역의 상기 복수의 움직임 카메라 중에서 선택된 제1 그
룹의 움직임 카메라를 상기 움직임 포착 볼륨을 향해 배향하는 단계를 포함하고, 상기 제1 그룹은 상기 움직임
포착 볼륨으로부터 가장 멀리 떨어져 있고 제1 높이에 있는 움직임 카메라들을 포함하는 움직임 포착 방법.
청구항 16
제15항에 있어서,
상기 배열하는 단계는 상기 움직임 포착 볼륨의 상기 주변 영역의 상기 복수의 움직임 카메라 중에서 선택된 제
2 그룹의 움직임 카메라를 상기 움직임 포착 볼륨을 향해 배향하는 단계를 포함하고, 상기 제2 그룹은 상기 제1
그룹의 카메라보다 상기 움직임 포착 볼륨에 더 가까이 있고 상기 제1 높이보다 높은 제2 높이에 있는 움직임
카메라들을 포함하는 움직임 포착 방법.
청구항 17
제16항에 있어서,
상기 배열하는 단계는 상기 움직임 포착 볼륨의 상기 주변 영역의 상기 복수의 움직임 카메라 중에서 선택된 제
3 그룹의 움직임 카메라를 상기 움직임 포착 볼륨을 향해 배향하는 단계를 포함하고, 상기 제3 그룹은 상기 제2
그룹의 카메라보다 상기 움직임 포착 볼륨에 더 가까이 있고 상기 제2 높이보다 높은 제3 높이에 있는 움직임
카메라들을 포함하는 움직임 포착 방법.
청구항 18
제13항에 있어서,
상기 처리하는 단계는 상기 복수의 움직임 카메라에 의해 포착된 움직임을 나타내는 데이터를 포함하는 2차원
(2D) 데이터 파일들을 상기 복수의 움직임 카메라로부터 수신되고 상기 복수의 움직임 카메라에 의해 포착된 상
기 움직임과 연관된 신호들에 기초하여 생성하는 단계를 더 포함하는 움직임 포착 방법.
청구항 19
제18항에 있어서,
상기 처리하는 단계는 상기 2D 데이터 파일들을 중앙 데이터 저장소에 저장하는 단계를 더 포함하는 움직임 포
착 방법.
청구항 20
제18항에 있어서,
상기 처리하는 단계는 상기 2D 데이터 파일들의 자동화된 재구성을 수행하고 상기 2D 데이터 파일들로부터 3차
원(3D) 애니메이션 파일들을 생성하는 단계를 더 포함하는 움직임 포착 방법.
청구항 21
제18항에 있어서,
- 4 -
등록특허 10-0938021
상기 처리하는 단계는 상기 2D 데이터 파일들의 정확성을 검증하는 단계를 더 포함하는 움직임 포착 방법.
청구항 22
제13항에 있어서,
상기 움직임 포착 볼륨 내부로부터의 오디오를 녹음하는 단계를 더 포함하는 움직임 포착 방법.
명 세 서
[관련 출원의 참조]<1>
본 출원은 2003년 5월 1일자로 출원된 발명의 명칭이 "얼굴 및 신체 움직임을 포착하는 시스템 및 방법(System<2>
and Method for Capturing Facial and Body Motion)"인 미국 특허 출원 제10/427,114호의 일부 계속 출원으로
서 미국 특허법 제120조에 따라 우선권을 주장한다.
기 술 분 야
본 발명은 3차원 그래픽 및 애니메이션에 관한 것으로서, 보다 상세하게는, 복수의 연기자를 수용할 수 있는 볼<3>
륨 내에서 얼굴 및 신체 움직임 둘 다가 동시에 포착될 수 있게 해주는 움직임 포착 시스템에 관한 것이다.
배 경 기 술
움직임 포착 시스템은 실제 물체의 움직임을 포착하고 이를 컴퓨터 발생된 물체 상으로 매핑하는 데 사용된다.<4>
이러한 시스템은 컴퓨터 그래픽(CG) 애니메이션을 생성하는 데 소스 데이터로서 사용되는 사람의 디지털 표현을
생성하기 위해 동영상 및 비디오 게임의 제작에서 종종 사용된다. 일반적인 시스템에서, 연기자는 마커가 여러
위치에 부착되어 있는(예를 들어, 작은 반사형 마커가 몸통 및 팔다리에 부착되어 있는) 의복을 입고 있으며,
마커에 조명을 비추면서 디지털 카메라가 서로 다른 각도에서 연기자의 움직임을 녹화한다. 이어서, 시스템은
각각의 프레임에서 연기자의 의복 상의 마커들의 위치(예를 들어, 공간 좌표) 및 배향을 결정하기 위해 이미지
를 분석한다. 마커들의 위치를 추적함으로써, 시스템은 시간에 따른 마커들의 공간적 표현을 생성하고 움직이
는 연기자의 디지털 표현을 작성한다. 이 움직임은 이어서 디지털 모델에 적용되고, 이 모델은 이어서 연기자
및/또는 연기의 완전한 CG 표현을 생성하기 위해 텍스처링 및 렌더링될 수 있다. 이 기술은 많은 인기 영화에
서 믿을 수 없을 정도로 현실적인 애니메이션을 생성하기 위해 특수 효과 제작사에 의해 사용되어 왔다.
움직임 포착 시스템은 또한 연기자의 얼굴 움직임 및 표정(예를 들어, 웃기, 울기, 미소짓기 등)의 표현을 생성<5>
하기 위해 연기자의 얼굴 부위의 움직임을 추적하는 데도 사용된다. 신체 움직임 포착에서와 같이, 연기자의
얼굴에 마커가 부착되어 있으며, 카메라가 연기자의 표정을 녹화한다. 신체 움직임에 큰 근육이 관여되어 있는
것에 비해, 얼굴 움직임에는 비교적 작은 근육이 관여되어 있기 때문에, 얼굴 마커는 일반적으로 대응하는 신체
마커보다 훨씬 더 작으며, 카메라는 일반적으로 신체 움직임 포착을 위해 통상 사용되는 카메라보다 높은 해상
도를 갖는다. 카메라가 연기자의 얼굴에 계속하여 초점이 맞춰져 있도록 하기 위해 카메라는 일반적으로 연기
자의 물리적 움직임과 공통의 평면에 정렬되어 있다. 얼굴 움직임 포착 시스템은 얼굴 마커에 균일하게 조명을
비추고 카메라와 얼굴 사이의 상대 이동의 정도를 최소화하기 위해 연기자에게 물리적으로 부착되어 있는 헬멧
또는 다른 기구 내에 포함되어 있을 수 있다. 이 때문에, 얼굴 움직임 및 신체 움직임은 통상 개별적인 단계에
서 포착된다. 포착된 얼굴 움직임 데이터는 이어서, 나중에 후속하는 애니메이션 프로세스의 일부로서, 포착된
신체 움직임 데이터와 결합된다.
움직임 포착 시스템의 종래의 애니메이션 기술에 대한 이점은 실시간 시각화(real-time visualization)를 할 수<6>
있다는 것이다. 제작팀은 연기자의 움직임의 공간적 표현을 실시간으로 또는 거의 실시간으로 검토할 수 있고,
그에 따라 최적의 데이터를 포착하기 위해 연기자가 실제 연기를 변경할 수 있게 해준다. 게다가, 움직임 포착
시스템은 다른 애니메이션 기술을 사용하여 쉽게 재현될 수 없는 신체 움직임의 미묘한 차이를 검출하며, 그에
의해 자연스런 움직임을 보다 정확하게 반영하는 데이터를 산출한다. 그 결과, 움직임 포착 시스템을 사용하여
수집된 소스 자료를 사용하여 생성된 애니메이션은 보다 실감나는 모습을 보여준다.
움직임 포착 시스템의 이들 이점에도 불구하고, 얼굴 및 신체 움직임을 개별적으로 포착하는 결과, 종종 정말로<7>
실감나는 것은 아닌 애니메이션이 얻어진다. 얼굴 움직임과 신체 움직임은 서로 떼어놓을 수 없는 관계에 있으
며, 따라서 얼굴 표정은 종종 대응하는 신체 움직임에 의해 보강된다. 예를 들어, 연기자는, 흥분하여 이야기
할 때 팔을 휘젖거나 난색을 표시할 때 어깨를 으쓱하거나 등의, 감정을 전달하고 대응하는 얼굴 표정을 강조하
- 5 -
등록특허 10-0938021
기 위해 어떤 신체 움직임(즉, 신체 언어(body language))을 이용할 수 있다. 얼굴 움직임과 신체 움직임 간의
이러한 관계는 이들 움직임이 개별적으로 포착될 때 상실되며, 이들 개별적으로 포착된 움직임을 서로 동기화시
키는 것이 어렵다. 얼굴 움직임 및 신체 움직임이 결합될 때, 그 결과 얻어지는 애니메이션은 종종 눈에 띌 정
도로 이상하게 보인다. 움직임 포착의 목적이 더욱 실감나는 애니메이션을 생성하는 것을 가능하게 해주는 것
이기 때문에, 얼굴 및 신체 움직임의 분리는 종래의 움직임 포착 시스템의 중요한 결점이다.
종래의 움직임 포착 시스템의 다른 단점은 연기자의 움직임 데이터가 소도구 또는 다른 연기자 등의 다른 객체<8>
의 간섭으로 폐색(occlude)될 수 있다. 구체적으로는, 신체 또는 얼굴 마커의 일부분이 디지털 카메라의 시야
로부터 보이지 않는 경우, 그 신체 또는 얼굴 부분에 관한 데이터가 수집되지 않는다. 이 결과 움직임 데이터
에 폐색(occlusion) 또는 구멍이 있게 된다. 폐색이 나중에 종래의 컴퓨터 그래픽 기술을 사용하여 제작 후반
(post-production) 동안에 채워질 수 있지만, 이 채움 데이터는 실제 움직임 데이터의 품질에 미치지 못하며,
그 결과 보는 시청자가 분간할 수 있는 애니메이션의 결함이 있게 된다. 이 문제를 피하기 위해, 종래의 움직
임 포착 시스템은 한번에 포착될 수 있는 객체의 수를, 예를 들어, 단일의 연기자로 제한한다. 이것은 또한 움
직임 데이터를 덜 현실적으로 보이게 만드는 경향이 있는데, 그 이유는 연기자의 연기의 품질이 종종 다른 연기
자 및 객체와의 상호작용에 의존하기 때문이다. 게다가, 이들 개별적인 연기를 자연스럽게 보이는 방식으로 서
로 결합하는 것이 어렵다.
종래의 움직임 포착 시스템의 또다른 단점은 오디오가 움직임 포착과 동시에 녹음되지 않는다는 것이다. 애니<9>
메이션에서, 오디오 트랙을 먼저 녹음하고, 이어서 캐릭터를 오디오 트랙과 일치하도록 애니메이션화하는 것이
통상적이다. 얼굴 움직임 포착 동안에, 연기자는 녹음된 오디오 트랙에 맞춰 립싱크(lip synch)하게 된다. 이
결과, 불가피하게도 움직임 데이터의 시각적 품질의 추가적인 감소가 있게 되는데, 그 이유는 연기자가 얼굴 움
직임을 오디오 트랙에 완벽하게 동기화시키는 것이 어렵기 때문이다. 또한, 신체 움직임은 음성이 전달되는 방
식에 종종 영향을 주며, 신체 및 얼굴 움직임의 개별적인 포착은 밀착된 최종 제품을 생산하기 위해 오디오 트
랙을 동기화시키는 어려움을 증가시킨다.
따라서, 종래 기술의 이들 및 다른 단점을 극복하는 움직임 포착 시스템을 제공하는 것이 바람직하다. 보다 구<10>
체적으로는, 복수의 연기자를 수용할 수 있는 볼륨 내에서 신체 및 얼굴 움직임 둘다가 동시에 포착될 수 있게
해주는 움직임 포착 시스템을 제공하는 것이 바람직하다. 또한, 신체 및 얼굴 움직임 포착과 동시에 오디오 녹
음을 할 수 있는 움직임 포착 시스템을 제공하는 것이 바람직하다.
발명의 상세한 설명
본 발명의 개시 내용에 따르면, 복수의 연기자를 수용할 수 있는 볼륨 내에서 얼굴 및 신체 움직임 둘다가 동시<11>
에 포착될 수 있게 해주는 움직임 포착 시스템 및 방법이 제공된다. 이 움직임 포착 시스템 및 방법은 또한 신
체 및 얼굴 움직임 포착과 동시에 오디오 녹음을 할 수 있다.
보다 상세하게는, 움직임을 포착하는 시스템 및 방법은 복수의 신체점을 정의하는 신체 마커 및 복수의 얼굴점<12>
을 정의하는 얼굴 마커를 갖는 적어도 하나의 연기자를 포함하도록 구성되어 있는 움직임 포착 볼륨(motion
capture volume)을 포함한다. 움직임 포착 볼륨은, 타원형, 원형, 직사각형, 다각형 등의, 임의의 원하는 기하
학적 형상을 가질 수 있다. 복수의 움직임 카메라가 움직임 포착 볼륨 주변에 배열되어 있다. 움직임 카메라
는 움직임 포착 볼륨 내에서 움직이고 있는 동안 연기자의 모든 측방으로 노출된 표면이 실질적으로 항상 복수
의 움직임 카메라 중의 적어도 하나의 시야 내에 있도록 배열되어 있다. 움직임 포착 프로세서는 연기자의 결
합된 신체 및 얼굴 움직임을 반영하는 디지털 모델을 생성하기 위해 복수의 움직임 카메라에 연결되어 있다.
적어도 하나의 마이크가 움직임 포착 볼륨으로부터의 오디오를 픽업하도록 배향되어 있다.
본 발명의 일 실시예에서, 움직임 포착 볼륨은 섹션들로 세분되는 직사각형 영역을 더 포함한다. 복수의 움직<13>
임 카메라는 섹션들의 개별적인 섹션 쪽으로 배향되어 있는 제1 서브그룹의 카메라를 더 포함한다. 복수의 움
직임 카메라는 섹션들의 개별적인 섹션 쪽으로 배향되어 있고 제1 서브그룹의 카메라와 공간적으로 분리되어 있
는 제2 서브그룹의 카메라를 더 포함할 수 있다. 제1 서브그룹의 카메라는 제2 서브그룹의 카메라에 대해 그들
의 각자의 시야가 실질적으로 중첩하도록 배향되어 있다. 제1 및 제2 서브그룹의 카메라는 각각 적어도 3개의
카메라를 더 포함할 수 있다. 복수의 움직임 카메라는 움직임 포착 볼륨의 코너에 각각 배치되고 일반적으로
움직임 포착 볼륨의 중앙 쪽으로 배향되어 있는 제3 서브그룹의 카메라를 더 포함할 수 있다.
양호한 실시예에 대한 이하의 상세한 설명을 참작함으로써, 신체 및 얼굴 움직임을 포착하는 시스템 및 방법에<14>
대한 보다 완전한 이해는 물론 그의 부가적인 이점 및 목적의 실현이 당업자에게 제공될 것이다. 먼저 간략하
- 6 -
등록특허 10-0938021
게 기술되는 첨부 도면에 대해 살펴볼 것이다.
실 시 예
이하에서 더 설명하는 바와 같이, 본 발명은 복수의 연기자를 수용할 수 있는 볼륨 내에서 신체 및 얼굴 움직임<27>
둘다가 동시에 포착될 수 있게 해주는 움직임 포착 시스템에 대한 요구를 만족시킨다. 게다가, 본 발명은 또한
신체 및 얼굴 움직임 포착과 동시에 오디오 녹음을 할 수 있는 움직임 포착 시스템에 대한 요구를 만족시킨다.
이하의 상세한 설명에서, 유사한 구성요소 참조 번호는 도면들 중 하나 이상에 도시된 유사한 구성요소를 기술
하기 위해 사용된다.
먼저 도 1을 참조하면, 블록도는 본 발명의 일 실시예에 따른 움직임 포착 시스템(10)을 나타낸 것이다. 움직<28>
임 포착 시스템(10)은 복수의 얼굴 움직임 카메라(141-14N) 및 복수의 신체 움직임 카메라(161-16N)과 통신하도
록 구성되어 있는 움직임 포착 프로세서(12)를 포함한다. 움직임 포착 프로세서(12)는 관련 데이터 파일을 저
장할 수 있도록 구성되어 있는 데이터 저장 장치(20)를 갖는 프로그램가능 컴퓨터를 더 포함할 수 있다. 하나
이상의 컴퓨터 워크스테이션(181-18N)은 컴퓨터 그래픽 애니메이션을 생성하는 프로세스에서 여러명의 그래픽 아
티스트가 저장된 데이터 파일을 가지고 작업할 수 있도록 해주기 위해 네트워크를 사용하여 움직임 포착 프로세
서(12)에 연결될 수 있다. 얼굴 움직임 카메라(141-14N) 및 신체 움직인 카메라(161-16N)는 움직임 포착 볼륨
내에서 연기하는 한명 이상의 연기자의 결합된 움직임을 포착하기 위해 움직임 포착 볼륨(이하에서 기술함)과
관련하여 배열되어 있다.
각각의 연기자의 얼굴 및 신체는 움직임 포착 볼륨 내에서의 연기자의 연기 동안에 얼굴 움직임 카메라(141-14N)<29>
및 신체 움직임 카메라(161-16N)에 의해 검출되는 마커가 부착되어 있다. 마커는 반사성 또는 조명된 요소일 수
있다. 구체적으로는, 각각의 연기자의 신체에는 머리, 다리, 팔, 및 몸통을 비롯한 여러가지 신체 위치에 배치
된 복수의 반사성 마커가 부착되어 있을 수 있다. 연기자는 마커가 부착되어 있는 비반사성 물질로 이루어진
보디수트(body suit)를 입고 있을 수 있다. 연기자의 얼굴에도 복수의 마커가 부착되게 된다. 얼굴 마커는 일
반적으로 신체 마커보다 더 작으며, 신체 마커보다 더 많은 수의 얼굴 마커가 사용된다. 충분한 해상도로 얼굴
움직임을 포착하기 위해, 많은 수(예를 들어, 100개 이상)의 얼굴 마커가 이용되는 것이 예상된다. 한 예시적
인 구현에서, 152개의 작은 얼굴 마커 및 64개의 보다 큰 신체 마커가 연기자에 부착되어 있다. 신체 마커는 5
내지 9 밀리미터 범위의 폭 또는 직경을 가질 수 있는 반면, 얼굴 마커는 2 내지 4 밀리미터 범위의 폭 또는 직
경을 가질 수 있다.
얼굴 마커의 배치의 일관성을 보장하기 위해, 원하는 마커 위치에 대응하는 적절한 위치에 구멍이 뚫려 있는 각<30>
각의 연기자의 얼굴의 마스크가 형성될 수 있다. 이 마스크는 연기자의 얼굴 상에 배치될 수 있고, 구멍 위치
가 적당한 펜을 사용하여 얼굴 상에 직접 표시될 수 있다. 이어서, 얼굴 마커가 연기자의 얼굴의 표시된 위치
에 부착될 수 있다. 얼굴 마커는 메이크업 글루(make-up glue) 등의 연극 분야에서 공지된 적당한 물질을 사용
하여 연기자의 얼굴에 부착될 수 있다. 이와 같이, 긴 시간(예를 들어, 수개월)에 걸쳐 계속되는 움직임 포착
제작은, 매일같이 마커가 부착되고 제거될지라도, 연기자에 대한 적절히 일관성있는 움직임 데이터를 획득할 수
있다.
움직임 포착 프로세서(12)는 얼굴 움직임 카메라(141-14N) 및 신체 움직임 카메라(161-16N)으로부터 수신되는 2<31>
차원 이미지를 처리하여 포착된 움직임의 3차원 디지털 표현을 생성한다. 상세하게는, 움직임 포착 프로세서
(12)는 각각의 카메라로부터 2차원 데이터를 수신하고, 이미지 포착 프로세스의 일부로서 그 데이터를 데이터
저장 장치(20)에 다수의 데이터 파일의 형태로 저장한다. 그 다음에, 2차원 데이터 파일은, 이미지 처리 프로
세스의 일부로서, 개개의 마커의 움직임을 나타내는 궤도 파일(trajectory file)의 형태로 서로 연결되는 단일
의 3차원 좌표 세트로 변환(resolve)된다. 이미지 처리 프로세스는 각각의 마커의 위치를 결정하기 위해 하나
이상의 카메라로부터의 이미지를 사용한다. 예를 들어, 움직임 포착 볼륨 내에서 연기자의 얼굴 부위 또는 신
체 부분에 의한 폐색으로 인하여, 마커는 카메라들의 부분집합에만 보일 수 있다. 그 경우에, 이미지 처리는
마커의 공간 상의 위치를 결정하기 위해 그 마커를 가로막힘없이 보고 있는 다른 카메라로부터의 이미지를 사용
한다.
마커의 위치를 결정하기 위해 다수의 카메라로부터의 이미지를 사용함으로써, 이미지 처리 프로세스는 다수의<32>
각도로부터의 이미지 정보를 평가하고 공간 위치를 결정하기 위해 삼각측량 프로세스를 사용한다. 이어서, 연
기자의 연기에 대응하는 신체 및 얼굴 움직임을 반영하는 디지털 표현을 발생하기 위해 궤도 파일에 대해 운동
- 7 -
등록특허 10-0938021
계산(kinetic calculation)이 수행된다. 시간에 따른 공간 정보를 사용하여, 이 계산은 각각의 마커가 공간을
통해 움직일 때 그의 진행을 결정한다. 전체 프로세스와 연관된 많은 수의 파일의 데이터 저장 장치(20)에의
저장 및 그로부터의 검색을 제어하기 위해 적당한 데이터 관리 프로세스가 사용될 수 있다. 움직임 포착 프로
세서(12) 및 워크스테이션(181-18N)은, Vicon Motion Systems 또는 Motion Analysis Corp로부터 입수가능한 것
등의, 이들 및 다른 데이터 처리 기능을 수행하기 위해 상용 소프트웨어 패키지를 이용할 수 있다.
움직임 포착 시스템(10)은 움직임에 부가하여 오디오를 녹음하는 기능을 더 포함한다. 오디오(예를 들어, 음성<33>
대화)를 픽업하기 위해 움직임 포착 볼륨 주변에 복수의 마이크(241-24N)가 배열되어 있을 수 있다. 움직임 포
착 프로세서(12)는 마이크(241-24N)에 직접 또는 오디오 인터페이스(22)를 통해 연결될 수 있다. 마이크(241-
24N)는 제 위치에 고정되어 있을 수 있거나, 움직임을 따라가도록 붐 상에서 이동가능할 수 있거나, 또는 연기자
가 착용하고 움직임 포착 프로세서(12) 또는 오디오 인터페이스(22)와 무선으로 통신할 수 있다. 움직임 포착
프로세서(12)는 녹음된 오디오를 수신하여 움직임 데이터와의 동기화를 가능하게 해주는 시간 트랙 또는 다른
데이터와 함께 데이터 저장 장치(20)에 디지털 파일의 형태로 저장하게 된다.
도 2 및 도 3은 복수의 움직임 포착 카메라에 의해 둘러싸여 있는 예시적인 움직임 포착 볼륨(30)을 나타낸 것<34>
이다. 움직임 포착 볼륨(30)은 주변 모서리(32)를 포함한다. 움직임 포착 볼륨(30)은 격자선으로 세분되어 있
는 직사각형-형상의 영역으로 나타내어져 있다. 움직임 포착 볼륨(30)이 실제로 3차원 공간을 포함하며 격자가
움직임 포착 볼륨에 대한 바닥(floor)을 정의한다는 것을 잘 알 것이다. 움직임은 바닥 위쪽의 3차원 공간 내
에서 포착되어진다. 본 발명의 양호한 실시예에서, 움직임 포착 볼륨(30)은 대략 10 피트×10 피트의 바닥 영
역을 포함하고, 바닥 위쪽으로 대략 6 피트의 높이를 갖는다. 타원형, 원형, 직사각형, 다각형 등의 다른 크기
및 형상의 움직임 포착 볼륨도 역시 제작의 특정의 요구에 적합하도록 유익하게 이용될 수 있다.
도 2는 복수의 움직임 포착 카메라가 일반적으로 원형인 패턴으로 주변 모서리(32) 주변에 배열되어 있는 움직<35>
임 포착 볼륨(30)의 평면도를 나타낸 것이다. 개개의 카메라는 도표에서 삼각형으로 나타내어져 있고, 끝이 뾰
족한 각이 카메라의 렌즈의 방향을 나타내며, 따라서 복수의 카메라가 복수의 서로 다른 방향으로부터 움직임
포착 볼륨(30) 쪽으로 향해 있다는 것을 잘 알 것이다. 보다 상세하게는, 복수의 움직임 포착 카메라는 복수의
신체 움직임 카메라(161-168) 및 복수의 얼굴 움직임 카메라(141-14N)를 더 포함한다. 도 2에서 얼굴 움직임 카
메라가 많은 것을 고려하여, 많은 카메라에 참조 번호가 부여되어 있지 않음을 잘 알 것이다. 본 발명의 이 실
시예에서, 신체 움직임 카메라보다 더 많은 얼굴 움직임 카메라가 있다. 신체 움직임 카메라(161-168)는 움직임
포착 볼륨(30)의 측면당 대략 2개 배열되어 있고, 얼굴 움직임 카메라(141-14N)는 움직임 포착 볼륨(30)의 측면
당 대략 12개 배열되어 있다. 얼굴 움직임 카메라(141-14N) 및 신체 움직임 카메라(161-16N)는, 얼굴 움직임 카
메라의 초점 렌즈가 신체 움직임 카메라의 초점 렌즈보다 더 좁은 시야를 제공하도록 선택되어 있는 것을 제외
하고는, 실질적으로 동일하다.
도 3은 복수의 움직임 포착 카메라가 움직임 포착 볼륨의 바닥 위쪽에 대략 3개의 층(tier)으로 배열되어 있는<36>
움직임 포착 볼륨(30)의 측면도를 나타낸 것이다. 하위층은 움직임 포착 볼륨(30)의 측면당 대략 8개 배열되어
있는 복수의 얼굴 움직임 카메라(141-1432)를 포함한다. 본 발명의 일 실시예에서, 하위층 얼굴 움직임 카메라
(141-1432) 각각은 움직임 포착 볼륨(30)의 대략 맞은 편에 있는 카메라가 시야 내에 포함되지 않도록 하기 위해
약간 위쪽으로 향해 있다. 움직임 포착 카메라는 일반적으로 움직임 포착 볼륨(30)을 조명하는 데 사용되는 광
원(예를 들어, 발광 다이오드의 어레이)을 포함하고 있다. 움직임 포착 카메라가 다른 움직임 포착 카메라의
광원을 "보게" 하지 하는 것이 바람직한데, 그 이유는 광원이 반사성 마커로부터의 데이터를 압도하는 밝은 반
사율로서 움직임 포착 카메라에 보이게 되기 때문이다. 중간층은 움직임 포착 볼륨(30)의 측면당 대략 2개 배
열되어 있는 복수의 신체 움직임 카메라(163-167)를 포함한다. 상기한 바와 같이, 신체 움직임 카메라는 얼굴
움직임 카메라보다 더 넓은 시야를 가지며, 각각의 카메라가 그의 각자의 시야 내에 더 많은 양의 움직임 포착
볼륨(30)을 포함할 수 있게 해준다.
상위층은 움직임 포착 볼륨(30)의 측면당 대략 5개 배열되어 있는 복수의 얼굴 움직임 카메라(예를 들어, 1433-<37>
1452)를 포함한다. 본 발명의 일 실시예에서, 상위층 얼굴 움직임 카메라(1433-1452) 각각은 움직임 포착 볼륨
(30)의 대략 맞은 편에 있는 카메라가 시야 내에 포함되지 않도록 하기 위해 약간 아래쪽으로 향해 있다. 도 2
의 좌측에 나타낸 바와 같이, 다수의 얼굴 움직임 카메라(예를 들어, 1453-1460)가 또한 중간층에 포함되어 움직
- 8 -
등록특허 10-0938021
임 포착 볼륨(30)의 전방 모서리에 초점이 맞추어져 있다. 연기자의 연기가 일반적으로 움직임 포착 볼륨(30)
의 전방 모서리를 향하고 있기 때문에, 폐색으로 상실되는 데이터의 양을 감소시키기 위해 그 영역 내의 카메라
의 수가 증가된다. 게다가, 다수의 얼굴 움직임 카메라(예를 들어, 1461-1464)가 중간층에 포함되어 움직임 포
착 볼륨(30)의 코너에 초점이 맞추어져 있다. 이들 카메라도 역시 폐색으로 상실된 데이터의 양을 감소시키는
역할을 한다.
본 발명의 양호한 실시예에서, 신체 및 얼굴 움직임 카메라는, 연기자의 측방 표면의 실질적으로 전부가 적어도<38>
하나의 카메라에 항상 노출되도록, 많은 서로 다른 각도로부터 마킹된 연기자의 이미지를 녹화한다. 보다 구체
적으로는, 연기자의 측방 표면의 실질적으로 전부가 적어도 3개의 카메라에 항상 노출되도록 카메라가 배열되어
있는 것이 바람직하다. 카메라를 복수의 높이로 배치함으로써, 연기자가 움직임 포착 볼륨(30) 내에서 움직일
때 불규칙적인 표면이 모델링될 수 있다. 본 발명의 움직임 포착 시스템(10)은 그에 의해 연기자의 신체 움직
임을 얼굴 움직임(즉, 표정)과 동시에 녹화한다. 상기한 바와 같이, 오디오 녹음도 역시 움직임 포착과 동시에
행해질 수 있다.
도 4는 얼굴 움직임 카메라의 예시적인 배열을 나타낸 움직임 포착 볼륨(30)의 평면도이다. 움직임 포착 볼륨<39>
(30)은 도표에서 a, b, c 및 d로 표시된 사분면으로 나누어져 있다. 얼굴 움직임 카메라는 클러스터(36, 38)로
그룹지어져 있으며, 각각의 카메라 클러스터는 복수의 카메라를 나타낸다. 예를 들어, 하나의 이러한 카메라
클러스터는 하위층에 위치한 2개의 얼굴 움직임 카메라 및 상위층에 위치한 하나의 얼굴 움직임 카메라를 포함
할 수 있다. 클러스터 내에서의 다른 카메라 배열도 역시 유익하게 이용될 수 있다. 2개의 카메라 클러스터
(36, 38)는 물리적으로 서로에 인접하여 배치되어 있지만 분간할 수 있는 거리만큼 서로로부터 수평 방향으로
오프셋되어 있다. 2개의 카메라 클러스터(36, 38) 각각은 대략 45°의 각도로부터 사분면(d)의 전방 모서리 상
에 초점이 맞추어져 있다. 제1 카메라 클러스터(36)는 사분면(c)의 전방 모서리의 일부로부터 사분면(d)의 전
방 모서리의 우측단에 이르는 시야를 갖는다. 제2 카메라 클러스터(38)는 사분면(d)의 전방 모서리의 좌측단으
로부터 사분면(d)의 우측 모서리의 일부에 이르는 시야를 갖는다. 따라서, 제1 및 제2 카메라 클러스터(36,
38)의 각자의 시야는 사분면(d)의 전방 모서리의 상당 길이에 걸쳐 중첩한다. 사분면(a, b, c, d)의 다른 외부
모서리(주변 모서리(32)와 일치함) 각각에 대해 카메라 클러스터의 유사한 배열이 포함된다.
도 5는 얼굴 움직임 카메라의 다른 예시적인 배열을 나타낸 움직임 포착 볼륨(30)의 평면도이다. 도 4에서와<40>
같이, 움직임 포착 볼륨(30)은 도표에서 사분면(a, b, c, d)으로 나누어져 있다. 얼굴 움직임 카메라는 클러스
터(42, 44)로 그룹지어져 있으며, 각각의 카메라 클러스터는 복수의 카메라를 나타낸다. 도 4의 실시예에서와
같이, 클러스터는 여러가지 높이에 위치하는 하나 이상의 카메라를 포함할 수 있다. 이 배열에서, 카메라 클러
스터(42, 44)는 움직임 포착 볼륨(30)의 코너에 움직임 포착 볼륨을 향해 위치되어 있다. 이들 코너 카메라 클
러스터(42, 44)는, 폐색 등에 의해, 다른 카메라에 의해 포착되지 않는 연기자의 이미지를 녹화한다. 다른 유
사한 카메라 클러스터가 움직임 포착 볼륨(30)의 나머지 코너에도 위치된다.
움직임 포착 볼륨(30)과 관련한 카메라 높이 및 각도의 다양성은 움직임 포착 볼륨 내의 연기자로부터 포착된<41>
이용가능한 데이터를 증가시키고 데이터 폐색의 가능성을 감소시키는 역할을 한다. 이는 또한 복수의 연기자가
움직임 포착 볼륨(30) 내에서 동시에 움직임 포착될 수 있게 해준다. 게다가, 많은 수의 카메라 및 그의 다양
성은 움직임 포착 볼륨(30)이 종래 기술보다 상당히 더 클 수 있게 해주며, 그에 의해 움직임 포착 볼륨 내에서
의 더 큰 범위의 움직임, 따라서 더 복잡한 연기를 가능하게 해준다. 신체 및 얼굴 움직임 카메라의 수많은 대
안적인 배열도 역시 유익하게 이용될 수 있다는 것을 잘 알 것이다. 예를 들어, 더 많은 또는 더 적은 수의 개
별적인 층이 이용될 수 있으며, 개개의 층 내에서의 각각의 카메라의 실제 높이는 변할 수 있다.
본 발명의 양호한 실시예에 대한 이상의 설명에서, 신체 및 얼굴 움직임 카메라는 제 위치에 고정된 채로 있다.<42>
이와 같이, 움직임 포착 프로세서(12)는 고정된 기준점을 가지며, 이 기준점에 대해 신체 및 얼굴 마커의 움직
임이 측정될 수 있다. 이 배열의 단점은 움직임 포착 볼륨(30)의 크기를 제한한다는 것이다. 더 큰 공간 볼륨
을 요구하는 연기의 움직임을 포착하는 것이 요망되는 경우(예를 들어, 캐릭터가 보다 긴 거리에 걸쳐 달리고
있는 장면), 연기는 개별적으로 움직임 포착되는 복수의 세그먼트로 분할되어야만 한다. 본 발명의 대체 실시
예에서, 카메라들 중 일부는 고정된 채로 있는 반면, 다른 카메라들은 몸짓을 따라가기 위해 이동된다. 이동가
능한 카메라는 모두 컴퓨터 제어 서보모터를 사용하여 이동될 수 있거나 사람 카메라 조작자에 의해 수동으로
이동될 수 있다. 움직임 포착 프로세서(12)는 카메라의 움직임을 추적하고 포착된 데이터의 후속 처리에서 이
움직임을 제거하여 연기자의 연기에 대응하는 신체 및 얼굴 움직임을 반영하는 3차원 디지털 표현을 발생한다.
도 6은 움직임 포착 볼륨 내의 2명의 연기자(52, 54)를 반영하는 움직임 포착 데이터를 나타낸 움직임 포착 볼<43>
- 9 -
등록특허 10-0938021
륨(30)의 사시도이다. 도 6의 도면은, 도 1과 관련하여 상기한 바와 같이, 움직임 포착 데이터가 워크스테이션
(18)의 조작자에게는 어떻게 보이는지를 반영한 것이다. (상기의) 도 2 및 도 3과 유사하게, 도 6은, 움직임
포착 볼륨(30)의 하위층에 위치한 카메라(141-1412), 상위층에 위치한 카메라(1433-1440), 및 코너에 위치한 카메
라(1460, 1462)를 비롯한, 복수의 얼굴 움직임 카메라를 추가적으로 나타내고 있다. 2명의 연기자(52, 54)는 그
의 신체 및 얼굴 상의 반사성 마커에 대응하는 점들의 구름처럼 보인다. 이상에서 도시되고 설명된 바와 같이,
연기자의 신체보다 훨씬 더 많은 수의 마커가 연기자의 얼굴 상에 위치해 있다. 연기자의 신체 및 얼굴의 움직
임은, 이상에서 실질적으로 설명된 바와 같이, 움직임 포착 시스템(10)에 의해 추적된다.
이제, 도 7 및 도 8을 참조하면, 움직임 포착 데이터는 워크스테이션(18)의 조작자에게 보이게 되는 그대로 도<44>
시되어 있다. 도 6에서와 같이, 움직임 포착 데이터는 2명의 연기자(52, 54)를 반영하고 있으며, 높은 농도의
점들은 연기자의 얼굴을 반영하고 나머지 점들은 신체점들을 반영한다. 움직임 포착 데이터는 또한 타원형 형
상으로 나타내어진 3개의 폐색 영역(62, 64, 66)을 포함한다. 폐색 영역(62, 64, 66)은, 카메라들 중 하나로부
터의 광이 다른 카메라들의 시야 내에 들어가는 것으로 인하여, 신뢰성있는 움직임 데이터가 포착되지 않은 곳
을 나타낸다. 이 광은 반사성 마커로부터의 불빛을 압도하고, 움직임 포착 프로세서(12)에 의해 신체 또는 얼
굴 마커로서 해석된다. 움직임 포착 프로세서(12)에 의해 실행되는 이미지 처리 프로세스는 도 7 및 도 8에 나
타낸 폐색 영역(62, 64, 66)을 정의함으로써 카메라 조명을 필터링 제거하는 가상 마스크를 발생한다. 제작 회
사는 폐색 영역에 의해 가려지게 되는 움직임을 물리적으로 회피하기 위해 연기자의 연기를 통제하려고 시도할
수 있다. 그럼에도 불구하고, 어떤 데이터 포착 상실이 불가피하게 일어나며, 도 8에 나타낸 바와 같이, 연기
자(54)의 얼굴이 폐색 영역(64) 내로의 물리적 이동에 의해 거의 완전히 가려지게 된다.
도 9는 폐색 문제를 감소시키는 움직임 포착 시스템의 일 실시예를 나타낸 것이다. 상세하게는, 도 9는 물리적<45>
으로 움직임 포착 볼륨(도시 생략)을 사이에 두고 서로 맞은편에 배치되어 있는 카메라(84, 74)를 나타내고 있
다. 카메라(84, 74)는 카메라의 시야를 조명하도록 구성되어 있는 각자의 광원(88, 78)을 포함하고 있다. 카
메라(84, 74)는 또한 카메라 렌즈의 전방에 배치된 편광 필터(86, 76)를 구비하고 있다. 이하의 설명으로부터
분명하게 되는 바와 같이, 편광 필터(86, 76)는 서로 위상이 어긋나게 배열되어 있다(회전되어 있다). 광원
(88)은 편광 필터(86)에 의해 편광되는 광을 방출한다. 편광된 광은 카메라(74)의 편광 필터(76)에
도달하지만, 카메라(74)를 통과하기보다는 오히려, 이 편광된 광은 편광 필터(76)로부터 반사되거나 그에 의해
흡수된다. 그 결과, 카메라(84)는 카메라(74)로부터의 조명을 "보게" 되지 않으며, 그에 의해 폐색 영역의 형
성을 회피하고 가상 마스킹이 필요없게 해준다.
이상의 설명이 움직임을 추적하기 위해 신체 및 얼굴에 고정된 물리적 마커의 광학적 감지의 사용에 대해 말하<46>
고 있지만, 당업자라면 움직임을 추적하는 대안적인 방식도 역시 유익하게 이용될 수 있다는 것을 잘 알
것이다. 예를 들어, 마커를 고정시키는 대신에, 연기자의 물리적 특징(예를 들어, 코 또는 눈의 형상)이 움직
임을 추적하는 자연적인 마커로서 사용될 수 있다. 이러한 특징-기반 움직임 포착 시스템은 각각의 연기 이전
에 연기자에 마커를 부착하는 작업을 필요없게 해준다. 게다가, 대응하는 마커를 검출하기 위해 광학 이외의
대안적인 매체가 사용될 수 있다. 예를 들어, 마커는 움직임 포착 볼륨 주변에 배열되어 있는 대응하는 수신기
에 의해 검출되는 초음파 또는 전자기 방출기를 포함할 수 있다. 이 점에서, 상기한 카메라가 광학적 센서에
불과하며 다른 유형의 센서도 유익하게 사용될 수 있다는 것을 잘 알 것이다.
이제 도 10을 참조하면, 블록도는 본 발명의 대체 실시예에 따른 움직임 포착 시스템(100)을 나타낸 것이다.<47>
움직임 포착 시스템(100)은 상기한 이전의 실시예보다 상당히 증가된 데이터 용량을 가지며, 확대된 움직임 포
착 볼륨과 연관된 상당히 더 많은 양의 데이터를 포착하는 데 적합한다. 움직임 포착 시스템(100)은 수집된 데
이터의 저장소로서 역할하는 마스터 서버(110)에 의해 서로 연결되어 있는 3개의 개별적인 네트워크를
포함한다. 이들 네트워크는 데이터 네트워크(120), 아티스트 네트워크(artist network)(130) 및 재구성 렌더링
네트워크(reconstruction render network)(140)를 포함한다. 마스터 서버(110)는 움직임 포착 시스템(100)에
대한 중앙 제어 및 데이터 저장을 제공한다. 데이터 네트워크(120)는 연기 동안에 포착된 2차원(2D) 데이터를
마스터 서버(110)로 전달한다. 그 다음에, 아티스트 네트워크(130) 및 재구성 렌더링 네트워크(140)는 마스터
서버(110)로부터이 이들 동일한 2D 데이터 파일에 액세스할 수 있다. 마스터 서버(110)는 대량의 데이터를 저
장하는 데 적합한 메모리(112) 시스템을 더 포함할 수 있다.
데이터 네트워크(120)는 움직임 포착 카메라와의 인터페이스를 제공하고, 포착된 움직임 데이터의 초기 데이터<48>
처리를 제공하며, 이 데이터는 이어서 메모리(112)에 저장하기 위해 마스터 서버(100)에 제공된다. 보다 상세
하게는, 데이터 네트워크(120)는 움직임 포착 볼륨 내에서 연기하는 한명 이상의 연기자의 결합된 움직임을 포
- 10 -
등록특허 10-0938021
착하기 위해 움직임 포착 볼륨(이하에 기술됨)과 관련하여 배열되어 있는 복수의 움직임 포착 카메라(1221-
122N)에 연결되어 있다. 데이터 네트워크(120)는 또한 연기(예를 들어, 대화)와 연관된 오디오를 포착하기 위
해 복수의 마이크(1261-126N)에 직접 또는 적당한 오디오 인터페이스(124)를 통해 연결될 수 있다. 하나 이상의
사용자 워크스테이션(128)이 데이터 네트워크의 기능의 동작, 제어 및 모니터링을 제공하기 위해 데이터 네트워
크(120)에 연결될 수 있다. 본 발명의 일 실시예에서, 데이터 네트워크(120)는 포착된 데이터를 2D 파일로 컬
레이션(collate)하는 복수의 슬레이브 처리 스테이션과 함께, Vicon Motion Systems 또는 Motion Analysis
Corp으로부터 입수가능한 것 등의, 복수의 움직임 포착 데이터 처리 스테이션에 의해 제공될 수 있다.
아티스트 네트워크(130)는 적당한 워크스테이션(1321-132N)을 사용하여 복수의 데이터 체커(data checker) 및<49>
애니메이터(animator)에 대한 고속 인프라를 제공한다. 데이터 체커는 마스터 서버(110)로부터의 2D 데이터 파
일에 액세스하여 그 데이터의 적합성(acceptability)을 검증한다. 예를 들어, 데이터 체커는 연기의 중요한 측
면이 포착되었는지를 검증하기 위해 데이터를 검토할 수 있다. 데이터의 일부분이 폐색된 경우 등, 연기의 중
요한 측면이 포착되지 않은 경우, 포착된 데이터가 적합하다고 생각될 때까지 필요에 따라 그 연기가 반복될 수
있다. 데이터 체커 및 연관된 워크스테이션(1321-132N)은 연기자 및/또는 장면 연출자와의 통신을 용이하게 해
주기 위해 움직임 포착 볼륨에 물리적으로 아주 근접하여 위치될 수 있다.
재구성 렌더링 네트워크(140)는 2D 데이터의 자동화된 재구성을 수행하고 2D 데이터 파일을 마스터 서버(110)에<50>
의해 저장되는 3차원(3D) 애니메이션 파일로 렌더링하기에 적합한 고속 데이터 처리 컴퓨터를 제공한다. 하나
이상의 사용자 워크스테이션(1421-142N)은, 데이터 네트워크의 기능의 동작, 제어 및 모니터링을 제공하기 위해,
재구성 렌더링 네트워크(140)에 연결될 수 있다. 아티스트 네트워크(130)에 액세스하는 애니메이터는 또한 최
종적인 컴퓨터 그래픽 애니메이션을 제작하는 동안에 3D 애니메이션 파일에 액세스한다.
도 11은 예시적인 움직임 포착 볼륨(150)의 평면도를 나타낸 것이다. 이전의 실시예에서와 같이, 움직임 포착<51>
볼륨(150)은 격자선으로 세분되어 있는 일반적으로 직사각형 형상인 영역이다. 이 실시예에서, 움직임 포착 볼
륨(150)은 상당히 더 큰 공간을 나타내기 위한 것이며, 4개의 섹션 또는 사분면(A, B, C, D)으로 더 세분될 수
있다. 각각의 섹션은 상기한 움직임 포착 볼륨(30)의 크기와 대략 같은 크기를 가지며, 따라서 이 움직임 포착
볼륨(150)은 이전의 실시예의 4배의 표면적을 갖는다. 부가적인 섹션(E)이 그 공간의 중앙에 있으며, 나머지
섹션들 각각과 부분적으로 중첩한다. 격자선은 또한 수직축을 따른 숫자 좌표(1-5) 및 수평축을 따른 알파벳
좌표(A-E)를 포함한다. 이와 같이, 영역(4A) 등의 움직임 포착 볼륨 상의 특정 위치는 그의 영숫자 좌표에 의
해 정의될 수 있다. 이러한 지정은 연기자에게 어디에서 그의 연기를 해야 하는지 및/또는 어디에서 소도구를
두어야 하는지에 관하여 연기자에게 지시하는 것에 의해 움직임 포착 볼륨(150)의 관리를 할 수 있게 해준다.
격자선 및 영숫자 좌표는 연기자 및/또는 장면 연출자의 편의를 위해 움직임 포착 볼륨(150)의 바닥 상에 물리
적으로 표시될 수 있다. 이들 격자선 및 영숫자 좌표가 2D 데이터 파일에 포함되지 않는다는 것을 잘 알 것이
다.
본 발명의 양호한 실시예에서, 섹션(A-E) 각각은 10 피트 × 10 피트의 크기를 갖는 정사각형 형상을 가지며,<52>
총 면적이 400 제곱피트가 된다, 즉 이전의 실시예의 움직임 포착 볼륨보다 대략 4배 더 크다. 움직임 포착 볼
륨(150)에 대한 다른 형상 및 크기도 역시 유익하게 이용될 수 있다는 것을 잘 알 것이다.
이제, 도 12A 내지 도 12C를 참조하면, 움직임 포착 카메라(1221-122N)의 예시적인 배열이 움직임 포착 볼륨<53>
(150) 주위의 주변 영역과 관련하여 나타내어져 있다. 주변 영역은 카메라, 조명 및 다른 장비를 지지하기 위
한 발판(scaffolding)의 배치를 제공하며, 영역(1511-1524)으로 나타내어져 있다. 움직임 포착 카메라(1221-
122N)는 다양한 카메라 높이 및 각도로 움직임 포착 볼륨(150)을 둘러싸고 있는 영역(1521-1524) 각각에 일반적
으로 균일하게 위치되어 있다. 게다가, 움직임 포착 카메라(1221-122N) 각각은 움직임 포착 모듈 전체가 아니라
움직임 포착 볼륨(150)의 섹션들의 개개의 섹션 상에 초점이 맞춰지도록 배향되어 있다. 본 발명의 예시적인
실시예에서, 움직임 포착 볼륨(150)의 5개의 섹션(A-E)의 각각의 섹션에 전용되어 있는 40개의 개별 카메라의
그룹들을 갖는 총 200개의 움직임 포착 카메라가 있다.
보다 구체적으로는, 움직임 포착 카메라(1221-122N)의 배열은 움직임 포착 볼륨으로부터의 거리 및 움직임 포착<54>
볼륨(150)의 바닥으로부터의 높이에 의해 정의될 수 있다. 도 12A는 움직임 포착 볼륨(150)로부터 최대 거리에
또한 일반적으로 가장 낮은 높이로 배향되어 있는 제1 그룹의 움직임 포착 카메라(1221-12280)의 예시적인 배열
- 11 -
등록특허 10-0938021
을 나타낸 것이다. 예시적인 영역(1521)(그의 나머지 영역들은 실질적으로 동일함)을 참조하면, 3개의 열의 카
메라가 있으며, 제1 열(172)은 움직임 포착 볼륨(150)에 대해 반경 방향에서 바깥쪽으로 그리고 바닥으로부터
가장 높은 높이(예를 들어, 6 피트)에 배치되어 있고, 제2 열(174)은 약간 더 낮은 높이(예를 들어, 4 피트)에
배치되어 있으며, 제3 열(176)은 반경 방향에서 제1 및 제2 열에 대해 안쪽으로 그리고 가장 낮은 높이(예를 들
어, 1 피트)에 배치되어 있다. 예시적인 실시예에서, 이 제1 그룹에서 총 80개의 움직임 포착 카메라가 있다.
도 12B는 제1 그룹보다 움직임 포착 볼륨(150)에 더 가까이 그리고 제1 그룹의 높이보다 더 높은 곳에 배향되어<55>
있는 제2 그룹의 움직임 포착 카메라(12181-122160)의 배열을 나타낸 것이다. 예시적인 영역(1521)(이의 나머지
영역들은 실질적으로 동일함)을 참조하면, 3개의 열의 카메라가 있으며, 제1 열(182)은 움직임 포착 볼륨과 관
련하여 반경 방향에서 바깥쪽으로 바닥으로부터 가장 높은 곳(예를 들어, 14 피트)에 배치되어 있고, 제2 열
(184)은 약간 더 낮은 높이(예를 들어, 11 피트)에 배치되어 있으며, 제3 열(186)은 제1 및 제2 열과 관련하여
반경 방향에서 안쪽으로 가장 낮은 높이(예를 들어, 9 피트)에 배치되어 있다. 예시적인 실시예에서, 이 제2
그룹에는 총 80개의 움직임 포착 카메라가 있다.
도 12C는 제2 그룹보다 움직임 포착 볼륨(150)에 더 가까이 그리고 제2 그룹의 높이보다 더 높은 곳에 배향되어<56>
있는 제3 그룹의 움직임 포착 카메라(121161-122200)의 배열을 나타낸 것이다. 예시적인 영역(1521)(이의 나머지
영역들은 실질적으로 동일함)을 참조하면, 3개의 열의 카메라가 있으며, 제1 열(192)은 움직임 포착 볼륨과 관
련하여 반경 방향에서 바깥쪽으로 바닥으로부터 가장 높은 곳(예를 들어, 21 피트)에 배치되어 있고, 제2 열
(194)은 약간 더 낮은 높이(예를 들어, 18 피트)에 배치되어 있으며, 제3 열(196)은 제1 및 제2 열과 관련하여
반경 방향에서 안쪽으로 가장 낮은 높이(예를 들어, 17 피트)에 배치되어 있다. 예시적인 실시예에서, 이 제3
그룹에는 총 40개의 움직임 포착 카메라가 있다. 다른 배열의 움직임 포착 카메라 및 다른 수의 움직임 포착
카메라도 유익하게 이용될 수 있다는 것을 잘 알 것이다.
움직임 포착 카메라는 도 4와 관련하여 상기한 바와 유사한 방식으로 움직임 포착 볼륨(150)의 각자의 섹션 상<57>
에 초점이 맞추어져 있다. 움직임 포착 볼륨(150)의 섹션(A-E) 각각에 대해, 4개의 측면 각각으로부터의 움직
임 포착 카메라는 섹션 상에 초점이 맞추어져 있다. 예로서, 움직임 포착 볼륨으로부터 가장 멀리 있는 제1 그
룹 중의 카메라는 그에 가장 가까운 움직임 포착 볼륨의 섹션들 상에 초점이 맞추어져 있을 수 있다. 이와 반
대로, 움직임 포착 볼륨으로부터 가장 가까운 제3 그룹 중의 카메라는 그로부터 가장 멀리 떨어진 움직임 포착
볼륨의 섹션들에 초점이 맞추어져 있을 수 있다. 측면들 중 하나의 한쪽 단부로부터의 카메라는 다른쪽 단부에
있는 섹션들에 초점이 맞추어져 있을 수 있다. 보다 구체적인 예에서, 움직임 포착 볼륨(150)의 섹션(A)은 주
변 영역(1521)의 제1 열(182) 및 제3 열(186) 중의 어떤 낮은 높이 카메라, 주변 영역(1524)의 제1 열(182) 및
제3 열(186) 중의 낮은 높이 카메라, 주변 영역(1523)의 제2 열(184) 및 제3 열(186) 중의 중간 높이 카메라,
주변 영역(1522)의 제2 열(184) 및 제3 열(186) 중의 중간 높이 카메라의 조합으로 덮여 있을 수 있다. 도 12A
및 도 12B는 또한 중앙 섹션(E) 내에서의 움직임의 포착을 위해 주변 영역들의 중앙에 있는 움직임 카메라의 더
큰 농도를 보여주고 있다.
다양한 각도 및 높이를 제공함으로써, 많은 카메라가 움직임 포착 볼륨(150)의 섹션들에 초점을 맞춤에 따라,<58>
바람직하지 않는 폐색의 발생을 최소화시키면서 전체적인 연기를 포착할 가능성이 훨씬 더 크게 된다. 많은 수
의 카메라가 이 배열에서 사용되는 것을 고려할 때, 움직임 포착 볼륨 맞은편에 위치한 다른 카메라로부터의 외
부 광의 검출을 감소시키기 위해 각각의 카메라 주위에 광 차폐물(light shield)을 배치하는 것이 유익할 수 있
다. 본 발명의 이 예시적인 실시예에서, 얼굴 및 신체 움직임 둘다를 동시에 포착하기 위해 동일한 카메라가
사용되며, 따라서 개별적인 신체 및 얼굴 움직임 카메라가 필요하지 않다. 얼굴 및 신체 움직임을 구별하기 위
해 연기자에 대해 서로 다른 크기의 마커가 이용될 수 있으며, 더 큰 움직임 포착 볼륨이 주어진 경우 데이터
포착을 보장하기 위해 일반적으로 더 큰 마커가 사용된다. 예를 들어, 신체에 대해 9 밀리미터 마커가 사용되
고 얼굴에 대해 6 밀리미터 마커가 사용될 수 있다.
따라서, 신체 및 얼굴 움직임을 포착하는 시스템 및 방법의 양호한 실시예에 대해 기술하였지만, 본 발명의 어<59>
떤 이점들이 달성되었다는 것이 당업자에게는 명백할 것이다. 또한, 본 발명의 여러가지 수정, 개량 및 대체
실시예가 본 발명의 범위 및 정신 내에서 행해질 수 있다는 것을 잘 알 것이다. 본 발명은 또한 이하의 청구
범위에 의해 정의된다.
도면의 간단한 설명
- 12 -
등록특허 10-0938021
도 1은 본 발명의 일 실시예에 따른 움직임 포착 시스템을 나타낸 블록도이다.<15>
도 2는 복수의 움직임 포착 카메라가 움직임 포착 볼륨의 주변에 배열되어 있는 움직임 포착 볼륨의<16>
평면도이다.
도 3은 복수의 움직임 포착 카메라가 움직임 포착 볼륨의 주변에 배열되어 있는 움직임 포착 볼륨의<17>
측면도이다.
도 4는 움직임 포착 볼륨의 사분면과 관련하여 얼굴 움직임 카메라의 예시적인 배열을 나타낸 움직임 포착 볼륨<18>
의 평면도이다.
도 5는 움직임 포착 볼륨의 코너와 관련하여 얼굴 움직임 카메라의 예시적인 배열을 나타낸 움직임 포착 볼륨의<19>
평면도이다.
도 6은 움직임 포착 볼륨 내의 2명의 연기자를 반영하는 움직임 포착 데이터를 나타낸 움직임 포착 볼륨의 사시<20>
도이다.
도 7은 움직임 포착 볼륨 내의 2명의 연기자를 반영하는 움직임 포착 데이터를 나타내고 그 데이터의 폐색 영역<21>
(occlusion region)을 나타낸 도면이다.
도 8은 2명의 연기자 중 한명이 폐색 영역에 의해 가려져 있는 도 7에서와 같은 움직임 포착 데이터를 나타낸<22>
도면이다.
도 9는 움직임 포착 시스템에서 이용되는 움직임 포착 카메라의 다른 실시예를 나타낸 블록도이다.<23>
도 10은 본 발명의 다른 실시예에 따른 움직임 포착 시스템을 나타낸 블록도이다.<24>
도 11은 복수의 연기 영역(performance region)을 정의하는 확대된 움직임 포착 볼륨의 평면도이다.<25>
도 12A 내지 도 12C는 움직임 포착 카메라의 예시적인 배열을 나타낸 도 11의 확대된 움직임 포착 볼륨의 평면<26>
도이다.
- 13 -
등록특허 10-0938021
도면
도면1
- 14 -
등록특허 10-0938021
도면2
- 15 -
등록특허 10-0938021
도면3
- 16 -
등록특허 10-0938021
도면4
도면5
- 17 -
등록특허 10-0938021
도면6
- 18 -
등록특허 10-0938021
도면7
도면8
- 19 -
등록특허 10-0938021
도면9
- 20 -
등록특허 10-0938021
도면10
- 21 -
등록특허 10-0938021
도면11
도면12A
- 22 -
등록특허 10-0938021
도면12B
도면12C
- 23 -
등록특허 10-0938021