모바일에 들어가는 ToF(비행 시간 측정, Time of Flight) 센서란?

안녕하세요.

오늘은 애플에서는 ToF 센서를 적극 사용하여 아이폰 12 MAX에 탑재를 하였습니다. 이 기술을 가장 먼저 사용한 건 삼성 갤럭시 S10을 시작으로 갤럭시 S20에도 탑재를 했는데, 5세대의 이동통신 구축 지연, 증강현실(AR)* 가상현실(VR) 관련 애플리케이션 부족 영향으로 갤럭시 노트 20부터 ToF 센서 탑재를 하지 않았습니다. 사실 이렇게 ToF 센서를 탑재한 모바일 기기는 LG전자가 가장 먼저 발표를 하였습니다.

 

ToF 센서는 라이다와 같이 레이저 펄스가 반사되어 돌아오는 시간을 측정하여 주변 환경이나 사물을 파악하는 기술로 비슷합니다. 하지만 ToF 센서보다 라이다의 성능이 우수해 자율 주행 기술 등에 활용이 됩니다.

 

ToF 센서

• 빛이 피사체에 반사되어 돌아오는 시간을 측정하여 거리를 계산하는 방식
• 카메라로부터 나간 빛은 피사체의 굴곡에 따라 반사되어 돌아오는 시간이 각각 다르며, 이 시간차를 계산하여 피사체와의 거리나 3D 스캐닝, 높이 측정 등이 가능
• ToF 카메라는 화소만으로 차이를 확인하기는 어렵고 동영상 촬영과 증강현실(AR) 앱 사용에 유리합니다.
• 일상생활에서 집안 구조를 입체적으로 파악해서 실내를 찍은 사진에 가상으로 가구 배치를 하거나 인테리어를 할 수 있습니다. 또한 얼굴인식으로 보안 인증을 할 수 있습니다.
• 핸드폰 뿐만 아니라 운전자 동작인식 카메라, People Counting Camera, 로봇 등 다양한 분야에서 사용

ToF 센서 원리

1. 작은 레이저를 사용해 생성된 빛이 물체에 반사되어 센서로 돌아오는 적외선을 발산합니다.
2. 빛의 방출과 물체에 반사된 후 센서로 돌아온 시간 차이를 기반으로 센서는 물체와 센서 사이의 거리를 측정합니다.

▶이때, ToF가 이동 시간을 사용해 거리와 깊이를 결정하는 두 가지 방법

 

Using Timed Pulse(타임 펄스 사용)

 

타임 펄스란, 먼저 레이저 광으로 대상을 비추고, 빛의 속도를 이용하여 물체의 거리를 추론하는 스캐너로 반사광을 측정하여 정확한 이동 거리를 계산하는 방식입니다. 또한 레이저 복귀 시간과 파장의 차이를 이용하여 대상의 정확한 디지털 3D 표현과 표면 특성을 만들고 개별 기능을 시각적으로 매핑합니다.

아래의 그림과 같이 레이저 광이 처음 방출이 되었다가 물체에 반사되어 센서로 돌아오게 됩니다. 레이저 돌아오는 시간으로 ToF 카메라는 빛이 이동하는 속도를 고려하고 단시간에 정확한 거리를 측정할 수 있게 됩니다.

물체의 정확한 거리에 도달하기 위한 공식 = (빛의 속도 x ToF) / 2

ToF의 Time Pulse

아래 그림에서 볼 수 있듯이, 조명이 나가는 동안 타이머가 시작되고 수신기가 반사광을 받으면 타이머가 시간을 반환합니다. 두 시간을 빼면 빛의 ToF가 얻어지고 빛의 속도는 일정하므로 위의 공식을 사용하여 거리를 쉽게 계산할 수 있습니다. 이를 통해 물체 표면의 모든 점을 결정할 수 있습니다.

 

Using Phase Shift of an Amplitude Modulated Wave(페이즈 이동 사용)

 

 ToF는 연속적인 파형을 사용하여 반사된 빛의 위상 변화를 감지하여 깊이와 거리를 결정할 수 있습니다. 진폭을 변조하여 알려진 주파수를 가진 사인파 형태의 광원을 생성하여 검출기가 반사된 빛의 위상 편이를 공식을 사용하여 결정합니다.

여기서 c는빛의 속도이고, λ는 하나의 파장, f는 주파수입니다.

이렇게 페이즈의 이동은 빛의 속도로 ToF를 구동하면서 매우 빠르게 일어나고 있습니다. 빛의 속도로 돌아오는 위상 변화를 감지하면 정확하고 빠르게 측정이 가능해집니다.

 

이렇게 어떤 원리를 사용하던 전체 장면을 비출수 있는 레이저를 제공하면 센서가 모든 지점의 깊이를 결정하여 3D로 구현할 수 있게 됩니다. 이 결과는 각 픽셀이 장면의 해당 지점까지의 거리를 인코딩하는 범위 맵을 제공 합니다.

다음은 ToF 범위 맵의 예시입니다.

 

ToF 장점

• 정확하고 빠른 측정 : 초음파 또는 레이저와 같은 다른 거리 센서에 비해 ToF 센서는 장면의 3D 이미지를 매우 빠르게 구성 가능(단 한 번의 샷으로 구성 가능), 짧은 시간에 물체를 정확하게 감지 가능, 기압 및 온도 영향 거의 받지 않음
• 장거리 : 레이저를 사용하므로 장거리 및 범위도 매우 정밀하게 측정 가능
• 안전성 : 저전력 적외선 레이저 광을 광원으로 사용하고 변조된 펄스로 눈에 대한 안전을 보장
• 비용 효율적 : 광 카메라 시스템 등 3D 깊이 범위 스캐닝 기술과 비교할 때 상대적으로 훨씬 저렴

 

 

ToF를 기반으로 Indirect ToF(low-cost LiDAR)와 Direct ToF(high-end LiDAR)가 나왔습니다. Indirect ToF는 Pulse shift를 사용해 구현이 되었고 Direct ToF는 Time을 사용해 구현이 되었습니다. 이 ToF를 활용해 게임, 자동화 로봇, 유통, 헬스, 의료 등 다양한 분야에서 서비스를 제공하고 있고, 앞으로도 계속 새로운 제품들이 출시될 것입니다.

 

 

 

 

이렇게 오늘은 ToF에 대해 포스팅해보았습니다. 앞으로 ToF가 비싸다는 단점을 무릅쓰고 애플에서는 계속적으로 사용을 하고 빼지 않을 것인지, 삼성에서 다시 ToF를 사용한 갤럭시 시리즈가 나올 것인지 기대가 됩니다.

 

 

 

회로설계와 반도체 관련해서 열심히 공부 중인 예지 블로그입니다.

혹시 틀린 부분이 있으면 댓글 남겨 주세요! 감사합니다.