[3D 180] ‘Canon EOS R5 and RF 5.2mm L DUAL FISHEYE’ REVIEW

* RF 5.2mm F2.8 L 듀얼 어안

새롭게 시작하는 2022년(임인년)을 맞이하여 Canon에서 출시한 RF 5.2mm F2.8 L DUAL FISHEYE  and EOS R5 사용해 보고 공부한 것을 정리해 보려 한다.

장비는 Canon 코리아측에서 제공해 준 것이며, MBC 특임 사업 김창배 팀장과 VR시장에 맞는 콘텐츠를 찾기 위해 같이 테스트를 진행하였다.

  • RF 5.2mm F2.8 L 듀얼 어안 렌즈

[그림 1]

[그림 2]

캐논의 L렌즈는 럭셔리를 뜻하며 ‘빨간 띠’이다. 이 녀석이 세계 ‘최초’ 카메라 한 대로 180º VR 영상 및 사진 촬영이 가능한 디지털 교환 식 렌즈이다.

세계 ‘최초’ 라는 단어는 Canon에서 쓴 단어인데 국내 최초, 세계 최초 이런 단어를 쓴다는 게 좀 거시기 하다. 알만한 사람들은 알고 있기에 굳이 자기 입으로 할 필요는 없는 것 같다.^^

인간이 입체를 느끼는 것은 2개의 눈동자의 거리 때문이며, 동공 거리로 인하여 보여지는 면이 다르기 때문이다. 입체 결과물을 만들기 위해 2대의 장비 즉, 2배로 해야 할 일을 한 번에 작업하니 ‘비용과 시간’ 을 단축할 수 있다는 것이다.

이게 축복인 것이다.

제품 스펙

  • 초점거리 / 최대조리개
  • 렌즈구성
  • 최단 촬영거리
  • 최대 촬영배율
  • 화각
  • 베이스라인 길이(좌우 렌즈의 중심 간격)
  • 조리개 날
  • 최대 구경
  • 길이
  • 무게
  • 5.2mm / 2,8
  • 10군 12매
  • 0.2mm
  • 0.03배
  • 190º
  • 60mm
  • 7
  • 약 121.1mm(폭)
  • 약 53.5mm
  • 약 350g

 

*캐논 r5

필자는 Panoramic VR을 하면서 해상도에서 유리한 Nikon을 사용해 왔다. ‘EOS R5’를 처음 잡아본 느낌은 적당한 무게에서 오는 견고함과 손에 착 감기는 느낌이 ‘Nikon D850’ 과는 확연히 다르다는 것이다.

화소수 또한 D850과 견줄 만 하므로 기회가 된다면 EOS R5 + EF8-15mm 테스트를 해보면 좋을 것 같다. 할 일이 많은데 어찌해야 할까.

우선 너로 인하여 ‘S3D 180VR’ 사업이 흥 할 것 같은 느낌을 받아 테스트를 먼저 진행 해 봐야 할 것 같다.

기록 화소수

 니콘 D850

8256 × 5504 (약 4,544만 화소)

EOS R5

8192 ×  5464 (약 4.480만 화소)

  • EOS R5 사진 컷

EOS R5의 장점은 고속 CMOS 센서의 판독 속도와 DIGIC X 처리 성능으로 언크롭 고화질 8K 동영상 촬영이라 생각한다. 현재 Canon측에서는 RF 5.2mm 렌즈는 펌웨어가 설치 된 R5에서 만 작동하는 한다는 아쉬운 점이 있다. 또한 8K에서 60p를 촬영 할 수 없다는 것인데, 3월 출시 예정인  ‘R5 C‘가 기다려진다.

동영상 기록 형식: MP4, RAW

해상도(Resolution) – 카메라로 촬영한 동영상 각 프레임을 ‘JPEG’ 정지 사진으로 저장 가능

 

 8천

DCI

UHD

약 3,540만 화소(8192 × 4320)

약 3,320만 회소(7680 × 4320)

동영상 기록 및 비트 레이트

 

8K UHD

 

29.97fps

 

모두 – 나

IPB

IPB(라이트)

1300Mbps

470Mbps

230Mbps

 

 

8K DCI

 

 

29.97fps

날것의

모두 – 나

IPB

IPB(라이트)

 2600Mbps

1300Mbps

470Mbps

230Mbps

8K DCI

29.97fps, 25.00fps

24.00fps, 23.98fps

RAW(라이트)

RAW(라이트)

1700Mbps

1350Mbps

온도 상승에 따른 동영상 촬영시간

8K 30p RAW

8K 30p

 20분

20분

메모리카드 요구 사항

 

 

8천

RAW, RAW(라이트)

ALL-I

IPB

IPB(라이트)

CFexpress 1.0[400MB/초]

CFexpress 1.0[200MB/초]

CF익스프레스 1.0

CF익스프레스 1.0



* EOS R5 AND RF 5.2mm F2.8 L 듀얼 어안 세팅 및 촬영

  • 렌즈의 특성상 VR영상을 제작하기 위해 나온 화각은 190° 이다.
  • 단일 이미지 센서 설계로 기존의 복잡한 작업 과정 과 워크플로우가 대폭 줄어 들어 입체 작업을 하기에 이상적인 카메라 조합 인듯하다. 60p를 지원하지 못한다는 것 빼고.

  • 화각이 190° 이다 보니 삼각대 발이 보인다. 삼각대 발을 지우기 위해서는 RRS레일 및 듀얼 퀵슈가 있어야 한다. 뒤적뒤적 찾다 보니 조합할 수 있는 장비가 있어 다행이다. 트라이포드 마다 다르겠지만 레일은 30cm이면 충분 할 것 같다. 문제는 무게 중심이 커서 평지가 아닐 경우 신경을 많이 써야 할 것 같다.

[RRS 레일]

[듀얼 퀵슈]

  • 입체 촬영을 하기 위해 물건들을 끄집어 내어 책상 위에 정렬 하고 테스트 진행 중…;; Depth값을 얻기 위해서는 레이어 형성이 잘 되어 있어야 한다. 예) 자작나무 숲

  • 입체 하면 어지럽다 하는 분들이 많다. 필자는 3D 결과물을 보기 위해 눈이 피로로 인하여 머리가 아파도 결과물에 맞추고 최대한 보려 한다. 그래도 안되면 포기해야지… 
  • 내 눈도 눈이지만 제작자 또한 결과물의 문제 요소를 최소화 해야 한다. 입체 결과물은 좌, 우의 영상 프레임을 동기화 하기 위해 60p로 촬영을 한다. 프레임 간 동기화가 되지 않으면 어지럼증을 유발하기 때문이다.
  • 3D 사진은 한 장의 이미지를 보는 것이라 문제 없지만,  영상에서는 프레임 간 시차가 발생한다면 이 또한 어지러움을 주기 때문이다.
  • 영상의 프레임 동기화를 하기 위해 물리적인 장비를 사용하지만, 작업을 해보면서 1프레임의 반(0.5)프레임이 밀리는 현상을 간혹 경험한 적이 있다.

[동기화 장치]

 

 

[ 동기화 작업]

또한,

2대의 카메라에서 촬영을 하면 센서 특성 상 색상과 밝기가 달라져 좌, 우 영상의 색차 및 휘도가 달라진다.

색 보정(Color grading) 또한 전문 영역이다 보니 S3D가 쉬운 작업이 아니라는 것을 알고 있다. 2대의 카메라 와 2대의 렌즈 2배의 돈을 지급하여 결과물을 만들기 때문에 작업이 2배로 어렵다는 이야기도 된다.

메모리 백업은 어떠한가! 두 개중 한 개만 없어도 못쓰는 영상이 되기 때문에 메모리 신경도 많이 써야 하고 아~ 생각만 해도 끔찍하다.

최적의 환경에서 최고의 팀 구성이 된다면 세상 누구나 좋은 결과물을 만들 수 있지만, 현실은 그렇지 못하다는 것이다. 메모리 카드 한 개에 좌, 우 영상을 담을 수 있어 감사할 따름이다.

그래서 입체 사진 및 입체 영상을 하는 사람들에게 RF 5.2mm F.2.8 L 렌즈는 축복이다. 할렐루야~

아래 장비는 필자가 사용하는 장비이며, 수년 전 겨울에 2대의 장비를 세팅하며 힘들게 촬영한 기억이 떠오른다.

[Z CAM E2 + 메이케 6.5mm]

[S3D 제작 현장]

  • 테스트 결과 현재 ‘RAW’파일은 EOS VR Utilty에서 불러오지 못하며, 또한 Adobe Premiere에서는 등장방형(Equirectangular) 변환되지 않는 상황이다.
  • Canon 언급: EOS R5로 촬영한 일반 RAW 파일은 앱 플러그인을 통한 VR 영상 변환이 불가능합니다.
  •  HMD(Head Mounted Display)용 콘텐츠를 만들기 위해서 가장 중요한 것은 ‘시나리오’라 생각하며, 시나리오는 다른 이의 영역이니 우선 ‘최고의 장비’로 잘 찍는 것을 추구한다. 좋은 환경에서 좋은 결과물이 나오는 것은 당연한 이치이지만 원본 불멸의 법칙, 잘 못 찍어도 최선의 결과물을 뽑아 낼 수 있기 때문이다.

먼저 카메라 세팅을 하기 위해 해상도는(Resolution) ‘UHD 8K 와 DCI 8K’로 설정을 할지 결정을 해야 한다 . 

  • ‘UHD 8K’는 7680 * 4320입니다. 대부분 16:9이며 8K TV 해상도이다. ‘DCI 8K’는 8192 * 4320이며 영화 산업의 표준이다.
  • 영화를 만드는 것이 아닌 HMD용으로 만들기 위해서는 최대 크기로 촬영을 하고 불필요한 부분을 Crop하면 되므로 우선 최대한으로 촬영 하는 것을 추천한다. Crop하더라도 8K(7680 * 4320) 사이즈만 충족하면 되기 때문이다.
  • 메모리 용량 및 컴퓨팅 사양이 받쳐준다면 ‘DCI 8K RAW’ 추천하고 싶지만 데이터 용량 및 후반 작업을 작업을 위해 컴퓨터 환경에 맞춰 설정을 하면 될 것 같다.
  • R5 메모리 카드에는 2개의 슬롯이 있다. 고속 데이터 처리를 하기 위해서 CFexpress 1.0 카드 와 10bit 촬영 시 SD카드  Speed Class 90이상을 추천하고 있다.
  • 현재 CF express 512GB 80만 원,  2TB가 120만원대라 가격 부담이 크다.

  • RAW 파일 컨버팅이 안되는 관계로 데이터 용량이 가장 큰 8K D ALL-I 세팅을 하기로 했다. 어안 계열 렌즈이다 보니 포커스를 어디에 맞춰야 할지 고민을 했다.
  • EOS R5 기능 중, MF 피킹(peaking) 기능이 있다. 피킹 기능은 초점이 맞은 피사체의 윤곽을 색상으로 표시하여 보다 쉽게 포커싱을 지원한다.

EOS R5 기록 확장자는 RAW 코텍은 ‘CRM’ 이며, ALL – I 코덱 AND IPB 코덱의 확장자는 ‘MP4’이다.

  • IPB코덱 및 ALL-I코덱: 영상은 이미지의 연속이다. 초당 30장의 이미지를 보여줄 때 1장의 이미지를 1프레임이라 한다. 30장의 이미지를 담아내면 용량이 방대 해지기 때문에 IPB 프레임을 사용해서 영상을 GOP(Group of Picture) 압축을 하게 된다.

IPB 코덱

  • ‘I’ 프레임은 Intra 프레임의 약자로, 시퀀스 하나의 이미지가 된다.
  • ‘P’ 프레임은 Predicted 프레임의 약자로 ‘1’ 프레임의 뒤에 오며 이전 프레임과 비교해 차이가 나는 부분을 저장한 프레임이다.
  • ‘B’ 프레임은 Bidirectional 프레임의 약자로 ‘I 와 P’ 프레임 사이에서 움직임을 예측한 정보을 저장한 프레임이다.

ALL-I 코덱

  • IPB 프레임 중 용량은 ‘I’ 프레임 가장 높기 때문에 ‘P, B’ 프레임은 사용하지 않고 전체를 ‘I’ 프레임을 사용하는 방식이다.

아래는 동일 환경에서 10초 ±10프레임 오차 범위에서 촬영 한 결과물이다.  동영상의 결과물은 해상도 외 영상에 담겨있는 비트레이트(Bitrate) 정보가 동영상의 화질을 정하는 기준이 된다.

 8K-D 29.97

셔터스피드: 1/13

조리게: f3.5

iOS: 200

BitRate 정보: ALL-I비트레이트 정보 대박이다. RAW로 촬영 된 결과물은 확인 방법을 몰라서 패스.

 8K D 올아이

1299904kbps = 1.269Mbps

 8K 디 IPB

446490kbps = 436Mbps

 8K D IPB 라이트

224676kbps = 219Mbps

[ 8K D ALL-I 속성 정보]

아래의 결과물은 원본 파일을 8K D 파일을Adobe Premiere에서 시퀀스(.jpg)로 내보낸 후 500배 확대한 결과물이다. 픽셀 변화는 있지만 차이점이 많이 느켜지지 않아 메모리카드 걱정이 된다면 IPB 코덱을 추천하며, 후반 작업(컴퓨팅)을 생각한다면 ALL-I 코텍을 선택하면 좋을 것 같다.

무조건 결과물을 따질 것이라면 Raw를 추천하고 싶다. 그러나 Canon 측에서는 RAW 파일은 앱 플러그인을 통한 VR 영상 변환이 불가능하다 하니 포스팅이 끝나는 데로 대안을 찾아봐야 할 것 같다.

[8K D 올아이]

[8K 디 IPB]

[8K D IPB라이트]

Adobe Premiere 시퀀스(.jpg)를 확인해 본 결과 색의 풍부함이 철철 넘쳐 난다. RAW로 찍고 최고의 결과물을 만드는 방법을 찾아봐야 할 것 같다.

[8K D RAW 결과물]

  • CANON측에서 3차원적인 입체감이 가장 잘 표현되는 거리 범위는 50cm ~ 2m라고 설명하고 있다. 
  • S3D 8K 180도 영상을 보기 위해서는 무슨 방법이 있을까? 자료를 찾아 보니 ‘오큘러스 궤스트 2‘를 통하여 3가지 방법이 있다고는 한다.
  • 다운로드 영상을 플레이어로 재생, 웹하드 이용, 스트리밍 앱을 이용하는 방법 – 다 별 볼일 없나 보다. LG U+측에 문의를 해봐야겠다. 자체 플레이어가 있는 것으로 알고 있다. 또는 SKYBOX
  • 아래 결과물은 동일 조건에서 촬영하고 EOS VR Utility에서 ‘시차 보정 및 수평 보정’ 한 후 Side by Side 결과물을 Youtube 업로드 한 것이다. 필요 환경에 맞게 촬영 거리를 두면 좋을 것이다. 입체감을 주기 위해 테이블 위해 모형 비행기 세팅.
  • 촬영 환경은 8K DCI ALL-I, 1/30, F3.5, IOS200
  • 원본 파일 ‘EOS VR Utility App에서 시차 보정, 수평 보정’ 후 랜더링
  • 파일 형식: H.264 4:2:0 MP4 8-bit
  • 포커스: 60cm
  • 거리 측정은 테이프 표시를 한 후 렌즈 앞부분에 줄을 띄워 테스트를 진행 하였다. 거리 별 Depth값은 Youtube 에서 확인 하면 될 것이다. 필자도 확인하지 못해 궁금하다.^^



[거리 테스트]

[RF 5.2mm F2.8 L_거리 약 10cm]

[RF 5.2mm F2.8 L_거리 약 20cm]

[RF 5.2mm F2.8 L_거리 약 40cm]

[RF 5.2mm F2.8 L_거리 약 60cm

[RF 5.2mm F2.8 L_거리 약 80cm]

[RF 5.2mm F2.8 L_거리 약 100cm]

[RF 5.2mm F2.8 L_거리 약 120cm]

[RF 5.2mm F2.8 L_거리 약 140cm]

[RF 5.2mm F2.8 L_거리 약 160cm]

[RF 5.2mm F2.8 L_거리 약 180cm]

[RF 5.2mm F2.8 L_거리 약 200cm]

아래 영상은 Canon Europe에서 업로드한 영상이니 직접 확인해 봐야 할 것 같다.

아래 테스트는 RF 5.2mm 화각이 190°라는 점에서 200°까지 마킹을 하고 어느 지점까지 보여지는지 확인을 한 것이다. 입체 촬영 시 주재는 센터에 위치하고, 부재는 좌, 우 어느 선까지 위치시킬 것인지 확인하기 위한 테스트이다. 

렌즈의 위치는 카메라에 추를 달아 바닥 수평선 0° 위치이며, 좌.하단 이미지에서 볼 수 있듯 시원시원하게 보인다. 우.하단 등장방형(Equirectangular)으로 변형되면서 CROP 된 부분을 생각하면 수평 180°까지 위치 시키면 좋을 것 같다.

[원래의]

[ 등장방형]

EOS R5 해상도(Resolution): Canon에서 제공한 EOS R5 8K DCI 기록 화소는 ‘약 3,540만 화소이며 해상도는 8192 × 4320이다.

Canon에서 제공한RF 5.2mm 렌즈 간 거리는 60mm이다.

  • 촬영 된 영상의 속성 값을 보면 Canon에서 제공한 바와 같이 ‘8192 × 4320’이다.
  • 하단 8K 원본[original]
  • 가로(Horizon): 8192Pixel이다.
  • 세로(Vertical): 4011Pixel이다.
  • 렌즈 간 거리: 60mm는 170Pixel이다.
  • 왼쪽 눈: 4011Pixel + Base: 170Pixel + 오른쪽 눈: 4011Pixel = 8192Pixel이다.

[원래의]
  • 하단 8K 등장방형[Equirectangular]
  • 렌즈 간 거리 170Pixel  없어짐(Loss of 170Pixel distance between lenses)
  • 가로(Horizon): 렌즈 간 거리가 없어졌지만 가로 픽셀은 동일(The distance between the lenses is gone, but the horizontal pixels are the same)
  • 세로(Vertical): 4011에서 4096으로 증가(increased from 4011 to 4096)

 

  • 상단(Original) 및 하단(Equirectangular) 사진 비교
  • 원본 좌, 우, 상, 하 사진을 비교하면 많은 량의 데이터가 Crop 된 것을 볼 수 있을 것이다. 내 픽셀 돌려 줘^^

 

[ 등장방형]


* VR 영상 변환 및 처리

입체 란(Stereoscopy),

사람은 3차원 공간에서 익숙해져 있는데, 3D를 인식하는 것은 양쪽 눈이 차이에서 이뤄진다.

이 차이를 양안 시차(Stereoscopic vision)라  한다. 무언가를 바라 볼때 왼쪽이 보는 2D이미지와, 오른쪽이 보는 2D이미지가 서로 다르다는 것이다. 이렇게 각각의 눈이 바라보는 2차원의 이미지는, 투사각(Perspective)과 소실점(Vanishing Point)에서 차이가 난다.

이 다른 두 개의 2차원 이미지가 뇌로 전달되어야만 비로소 하나의 입체 이미지로 인식되는 것이다.[그림 1]는 사람이 3D를 인식하는 과정이다.

이렇게 인간이 입체를 인식하는 방식은 그대로 카메라에 적용 시키면 입체 사진이나 동영상을 얻을 수 있게 되며, 두 개의 렌즈를 인간의 안간(Interoculaar separation)차에 맞도록 나란히 배치하여 동시에 찍으면, 왼쪽 이미지(Left image)와 오른쪽 이미지(Right image)를 각각 얻어낼 수 있는 것이다. [그림 2]은 2015년 360입체 촬영 장비를 만들기 위해 트윈카메라 설정 방법을 만들어 본 것이다.

[그림 1]

[그림 2]

 

촬영도 중요하지만 VR영상으로 변환하기 위해서는 별도의 S.W를 사용해야 한다. 좌, 우 싱크, 렌즈 보정(시차 보정, 수평 보정)이 필요한데 일반적으로 Mistika VR을 이용하여 결과물을 만들어 왔다.

180 또는 360VR 영상을 만들기 위해서는 필연적으로 사용을 해야 하는 S/W 라고 생각을 한다. PTGui 애서 ‘Stitching’한 파일을 불러 올 수 있다는 것과 다양한 기능 때문에 선호 하는 편이다.

 

EOS R5로 촬영 된 결과물은 메모리 카드(CFexpress)에 한 개의 파일이 저장되어 있다. 이 파일을 투시도법(Equirectangular)으로 변환하기 위해 Canon에서 제공하는 APP을 이용하면 된다.

Mistika VR 와는 다르게 인터페이스는 깔끔하며 특별히 해야 할 쟉업이 없다.

  • 현재 RAW(동영상  + 이미지)파일은 작업이 불가능한 상태이다. 이미지 ‘RAW’ 파일 처리는 하단 ‘3D Image 작업’ 을 참조 하면 된다.
  • ‘EOS VR Utility’ OS환경은 Window 및 Mac 2가지 타입이며, PC환경에 맞게 다운로드 하면 될 것이다.
  • 아래 링크를 걸어 놓았으니 바로 다운로드를 진행하면 된다.

 

  • EOS VR Utility 일부 유료 서비스이다.
  • 2분을 초과하는 동영상을 내보내기 위해서는 ‘유료 구독 서비스‘ 에 가입을 해야 한다.
  • Canon 유료 서비스: VR 소프트웨어 구독 월 6,000원 / 연 60,000원을 지불 을 해야만 사용 할 수 있다.

EOS VR Utility 아이콘

Window 기반에서 크기 설정과 H.264 4:2:0 8bit로 랜더링 할 수 있다.

[파일 형식]

[해상도]

  • EOS VR 유틸리티
 Window 10 (x64) 버젼: 링크 / Mac OS버젼: 링크
  • Adobe Premiere Pro용 EOS VR 플러그인
 Window 11, 10 (x64) 버젼: 링크 / Mac OS버젼: 링크

‘EOS VR Plugin for Adobe Premiere Pro’ 플러그인은 Premiere v14.5 이상에서 작동합니다.

‘렌즈 보정’ 기능이 없어 수직, 수평을 보정 할 수 없으며, 바로 등장방형(Equirectangular) 로 변환되는 상태라 유료 구독 서비스 해야 하는 상황이다.

[Adobe Premiere Pro 화면]

 

  • RAW 3D Image 작업_001
  • 현재 EOS R5로 촬영한 일반 RAW 파일은 앱 플러그인을 통한 VR 변환이 불가능합니다.
  • 현재 .RAW(CR3) + .JPG로 촬영을 하면 APP에서 JPG만 인식을 한다. 좋은 결과물을 만들기 위해 RAW로 촬영을 하는건데 아쉽다. 이를 해결하기 위해 선 보정 후 메타데이터를 입혀주는 방법을 통하면 된다.
  1. 먼저 RAW 파일을 포토샵 또는 라이트룸으로 입맛에 맞게 보정한 후 .JPG로 내보낸다.
  2. 보정 한 .JPG에 메타데이터를 입히기 위해서 기존에 있던 .JPG 동일 위치에 붙여넣는다.
  3. 메타데이터 변경을 하기 위해 ‘exiftool.exe‘에 접속하여 최신 버젼을 다운 받는다.
  4. 명령 프롬프트 ‘CMD’ 창을 열어 해당 이미지의 경로를 찾아서 변환해 준다.
  5. 업데이트가 이뤄지고 해당 폴더에 ‘.jpg_original’ 파일이 생성된다.

  • cd F:\3D_img
  • 에프:
  • exiftool -TagsFromFile 044A8332.JPG “-모두:모두>모두:모두” 044A8332_after.jpg

6. EOS VR Utility 실행을 하면 열리지 않던 보정한 ‘.jpg’ 파일이 보일 것이다.

추후,
RAW 영상 변환하는 방법을 찾아 업데이트 하도록 하며 이것으로 정리를 해야 할 것 같다.

입체 사진 및 영상을 하는 분들에게는 RF 5.2mm L렌즈는 S3D를 작업하는 이들이게 축복인 것 같다.

끝…