3D 立體影像感測技術（ ToF ：Time of Flight）

小學徒

3D 感測技術：什麼是 飛時測距 （ ToF ：Time of Flight）

[size=1.125]3D 立體影像感測技術

數位相機只能取得平面彩色影像，完全沒有深度的資訊，這代表當我們看到一張照片，只知道這個人的臉部有多寬多高，卻不知道他臉部的立體結構，例如：鼻子有多挺（有多深），為了取得影像的深度資訊，近年來許多廠商投入研發，目前比較成熟的技術有下列兩種：

➤ 飛時測距 （ToF：Time of Flight）：利用發光二極體（LED：Light Emitting Diode）或雷射二極體（LD：Laser Diode）發射出紅外光，照射到物體表面反射回來，由於光速（v）已知，可以利用一個紅外光影像感測器量測物體不同深度的位置反射回來的時間（t），利用簡單的數學公式就可以計算出物體不同位置的距離（深度），如＜圖一（a）＞所示。
➤ 結構光（Structured light）：利用雷射二極體（LD：Laser Diode）或數位光源處理器（DLP：Digital Light Processor）打出不同的光線圖形，經由物體不同深度的位置反射回來會造成光線圖形扭曲，例如：打出直線條紋的光線到手指上，由於手指是立體圓弧形造成反射回來變成圓弧形條紋，進入紅外光影像感測器後就可以利用圓弧形條紋反推手指的立體結構，如＜圖一（b）＞所示。

                               
登錄/註冊後可看大圖

圖一、3D 立體影像感測技術原理示意圖。
資料來源：home.lagoa.com/2014/04/whats-the-right-3d-scanner-for-you。

                               
登錄/註冊後可看大圖

TrueDepth 相機

蘋果 AAPL-US 1.35 % 將 iPhone X 所使用的 3D 立體影像感測技術稱為「TrueDepth相機」，結合了前面介紹的兩種技術，如＜圖二＞所示，TrueDepth 相機為 700 萬畫素的 CMOS 影像感測器，配合紅外光相機（Infrared camera）、泛光照明器（Flood illuminator）、接近感測器（Proximity sensor）、環境光感測器（Ambient light sensor）、點陣投射器（Dot projector）等元件，以下簡單介紹每個元件的功能：

➤泛光照明器（Flood illuminator）：使用「低功率」的垂直共振腔面射型雷射（VCSEL：Vertical Cavity Surface Emitting Laser），發射出「非結構（Non-structured）」的紅外光投射在物體表面。
➤接近感測器（Proximity sensor）：使用「低功率」的垂直共振腔面射型雷射（VCSEL）發射紅外光雷射，當有物體靠近時會反射雷射光，因此手機可以知道有物體接近，這個元件很早之前智慧型手機就有了，一般都是安裝在擴音器（Speaker）旁邊，但是以前通常是使用紅外光發光二極體（IR LED），可以偵測的距離較短，當使用者撥電話並且將手機靠近耳朵時，接近感測器偵測到耳朵接近就知道使用者正要講電話，會自動關閉螢幕節省電力消耗。
➤環境光感測器（Ambient light sensor）：使用光感測器（PD：Photo Detector）可以偵測環境光亮度，在明亮的太陽下使用者眼睛瞳孔縮小，因此自動將螢幕調亮讓使用者容易觀看；在陰暗的室內使用者眼睛瞳孔放大，因此自動將螢幕調暗避免使用者感覺太刺眼。
➤點陣投射器（Dot projector）：使用「高功率」的垂直共振腔面射型雷射（VCSEL）發射紅外光雷射，經由晶圓級光學（WLO：Wafer Level Optics）、繞射光學元件（DOE：Diffractive Optical Elements）等結構，產生大約 3 萬個「結構（Structured）」光點投射到使用者的臉部，利用這些光點所形成的陣列反射回紅外光相機（Infrared camera），可以計算出臉部不同位置的距離（深度）。

                               
登錄/註冊後可看大圖

圖二、iPhone X 所使用的 3D 立體影像感測技術。
資料來源：蘋果官網

Face ID 解鎖原理與步驟

Face ID 解鎖主要分為兩個步驟，首先必須辨識接近手機的是否為刻意靠近的臉部，或者只是使用者不小心由手機前面晃過去而已；確認是刻意靠近的臉部之後，才開始進行人臉辨識，從前面的介紹可以發現，啟動 Face ID 解鎖必須同時開啟好幾個元件，是有些耗電的，因此必須確認是刻意靠近的臉部之後，才開始進行人臉辨識。

當有臉部或物體靠近時，會先啟動接近感測器（Proximity sensor），再由接近感測器發出訊號啟動泛光照明器（Flood illuminator），發射出非結構（Non-structured）的紅外光投射在物體表面，再由紅外光相機（Infrared camera）接收這些反射的影像資訊，傳送到手機內的處理器，iPhone X 使用蘋果自行開發的 A11 處理器，內建雙核心的「神經網路引擎（NE：Neural Engine）」，經由人工智慧的運算後判斷為臉部，再啟動點陣投射器（Dot projector） 產生大約 3 萬個光點投射到使用者的臉部形成「結構光（Structured light）」，利用這些光點所形成的陣列反射回紅外光相機（Infrared camera），經由這些光點的偏移計算出臉部不同位置的距離（深度），再將這些使用者臉部的深度資訊傳送到處理器，經由計算比對臉部特徵辨識是否為使用者本人。

所有的 3D 立體影像感測技術都面臨相同的問題，那就是深度資訊的精確度實際值大約只有 1%～0.1%，意思是距離 1 公尺遠的物體量測出來的精確度與誤差大約是 1~10 毫米的等級，Face ID 解鎖時臉部與手機的距離大約 0.1 公尺，因此精確度與誤差大約是 0.1～1 毫米的等級，這大概足夠進行臉部特徵辨識了！此外，點陣投射器（Dot projector）使用高功率的垂直共振腔面射型雷射（VCSEL）發射紅外光雷射，雖然它的功率並不是真的很高，但是長期入射到眼睛是否會造成眼球的傷害，是另外一個值得醫學界研究探討的問題。

人工智慧的雲端與終端

人工智慧（AI：Artificial Intelligence）大量的學習與運算目前都借助於雲端伺服器強大的處理器來進行，早期使用 Intel（INTC-US）的「中央處理器（CPU：Central Processing Unit）」，後來科學家發現 Nvidia（NVDA-US）的「圖形處理器（GPU：Graphics Processing Unit）」效能比 CPU 高 100 倍以上，Intel 經由併購 Altera 取得「可程式化邏輯陣列（FPGA：Field Programmable Gate Array）」技術來與 GPU 抗衡。

另外有更多的廠商開發始發展「特定應用積體電路（ASIC：Application Specific Integrated Circuit）」，例如：Google（GOOGL-US）自行設計的「張量處理器（TPU：Tensor Processing Unit）」或 Intel 自行設計的「視覺處理器（VPU：Vision Processing Unit）」，就是一種針對人工智慧這種「特定應用」所開發的積體電路，以上這些處理器都是裝置在「雲端（Cloud side）」。然而並不是所有的應用都適合把大數據傳送到雲端處理，例如：自動駕駛車必須在車上「終端（Edge side）」進行學習與處理才能即時反應道路情況。

蘋果公司這次推出的 iPhone X 使用自行開發的 A11 處理器，內建雙核心的「神經網路引擎（NE：Neural Engine）」，專門處理影像辨識相關的機器學習、推論模型、演算法，也是一種針對人工智慧這種「特定應用」所開發的積體電路，不同的是它裝置在「終端（Edge side）」，也就是使用者的手機上，讓手機可以認識使用者的臉部特徵，蘋果公司也一再強調，使用者所有的臉部特徵都在手機終端完成，不會上傳到雲端處理，因此絕對不會有資料外洩的疑慮。

蘋果公司這次發表的 iPhone X 讓使用者能夠真實感受終端裝置的人工智慧（On-device AI），在可以預見的未來，終端的處理器如何與人工智慧結合形成「終端智能（Edge intelligence）」，將是愈來愈熱門的議題。

小學徒

ToF前途未卜還是一片光明？

                               
登錄/註冊後可看大圖

2020-05-05

                               
登錄/註冊後可看大圖

作者 Illumi Huang，EE Times China

本文嘗試從ToF技術本身的原理，及其在手機市場的應用出發，來探討這些年有關ToF技術的傳言是否可靠...

                               
登錄/註冊後可看大圖

近兩年的趨勢預測中，似有許多媒體資料和分析機構提到了ToF (Time of Flight)技術的即將爆發，但卻似乎又後勁乏力的消息。比如有人認為掣肘ToF發展的主因是應用場景受限，所以ToF迄今似乎都沒有什麼驚人的市場爆發現象。

在本文中，我們不想刻意琢磨統計機構的資料，而是嘗試從ToF技術本身的原理，及其在手機市場的應用出發，來探討這些年有關ToF技術的傳言是否可靠，尤其是在今年新版蘋果(Apple) iPad Pro問世以後，後置新增的那個LiDAR模組是否有機會帶動ToF技術發展；且包括華為(Huawei)手機在內的不少智慧型手機，已經連續數年將ToF模組應用於前向攝影機。

ToF在手機上的發展

【8/17-18 Smart+ Tech：智慧應用生態大會】★以「工業元宇宙」及「智慧生活」雙論壇和展覽為亮點，並邀請多家產業領導廠商齊聚分享！

如果用簡單的話來解釋ToF，無非就是「飛行時間」。從我們翻閱的資料來看，ToF並不限於光學領域，利用微波、超音波的「飛行時間」來計算物體距離的，都可以認為是ToF技術的應用。那麼實際上普通的微波雷達也可說是應用了ToF技術的典型設備。如此，ToF涵蓋的技術領域也就變得非常廣，而且ToF存在的歷史又可以往前推幾十年。

若將ToF限制在光學測距範疇，則ToF也就特指「光的飛行時間」，這也是目前我們對於ToF的狹義理解方式，或者特指「ToF攝影機」。相對簡單的解釋是：若要測得ToF模組與場景中某個對象(或某個點)的距離，則由ToF模組的光源向該物件發出光(子)。光在發出後抵達該物件，並反射回來，由ToF模組的感測器獲得。計量此間「光的飛行時間」，在光速已知的前提下即可得到距離資料，如圖1所示。

                               
登錄/註冊後可看大圖

圖1：這是個十分簡化的模型，但也基本闡述了ToF技術的核心。至少透露了ToF模組在硬體實現上，至少需要包括發射端和接收端，當然另外還需要處理訊號的晶片、演算法與軟體。

ToF在近兩年成為熱門話題的主因，似乎是3D感測、3D視覺應用的崛起。典型的如iPad Pro所用的後置光達(LiDAR)；這在我們探討的ToF範疇內，如果不考慮車用LiDAR這種能量等級，iPad Pro的ToF應用已經相對高級和複雜，與一般消費性用戶的距離看來似乎也稍遠。在談這種技術之前，不妨先看看更早以及更貼近生活的ToF應用。

手機對於「測距」的典型需求是前面板的距離感測：這是多年前功能性手機時代就存在的特性，即透過距離感測，在接打電話時，耳朵貼近螢幕就讓螢幕自動關閉。早年的距離感測只透過簡單的一個光電二極體實現，這種簡單的方案在某些場景下會失效，因為它是藉由測定外部亮度變化實現所謂的「距離感測」。

2015年前後，主動光學測距開始應用到手機上：這種測距系統結合了一顆LED與光感測器，LED會主動發光，如果感測器擷取到的反射光強度超過預設的閾值，手機螢幕就關閉。這幾乎可以認為是ToF的雛形了，iPhone 6s時代已經在採用這種技術。從市場研究機構TechInsights的拆解分析來看，iPhone 7真正落實了ToF感測器──即不再依賴於反射光強度變化，而開始計量來自雷射二極體的光子飛行時間。

更早將ToF模組應用於前面板的手機，可追溯至2014年的LG G3、BlackBerry Passport等。TechInsights的顯微拆解顯示，當時這些手機普遍開始應用意法半導體(ST)的早期VL6180方案。從分析來看，這是一個三合一的光學模組，其中包含了距離感測器、環境光感測器，以及垂直共振腔面射型雷射(VCSEL)光源。

                               
登錄/註冊後可看大圖

圖2：iPhone 7的前置光學模組。

（來源：TechInsights）

值得一提的是，其中的距離感測器實質是單光子雪崩二極體(SPAD)構成的——有關SPAD後文還會更具體地提及。至少，這顆模組裡就已經有了完整的ToF發射端和接收端。2016年意法半導體發佈VL53L0，其中去除了環境光感測器，SPAD陣列也發生了變化。雖然從現有拆解資料並不能確定，不過iPhone 7的前置光學模組實際上和VL53L0非常相似，只是更緊湊(圖2)。

在此，這顆ToF模組實際扮演的角色可能至少包括了距離感測，以及應用於前向攝影機的精準測距(對焦)。意法半導體的ToF方案選擇的皆為SPAD技術，如最新VL53L1、V53L3，以及VL53L5相較更早的產品提供相對更遠的測距能力和更具彈性的軟體配置。意法半導體大中華區及南亞區影像事業部技術市場經理張程怡表示：「過去5、6年時間，意法半導體的ToF感測器出貨量超過了10億，應用到了超過150款手機攝影機中。」

ToF在電子科技領域，乃至窄化到行動裝置方面的應用，不僅是這兩年才出現的。如手機的距離感測、攝影機雷射對焦等這些前兩年的熱點，實則都是ToF的典型應用。我們認為，ToF技術這兩年又熱起來，大致與消費性市場的再炒作有關；所謂的「應用場景受限」、「後勁乏力」從以上探討看來，也屬於絕對的偽命題，因為這片市場本來就非常繁榮。

張程怡指出：「從整個市場的角度來看，它和生活很接近，對於ToF效果的爭議，幾年前也早就結束了，現在大家都很認可。」

在這種ToF光學測距的「單點」之外，這兩年ToF的火熱更來自於當這些「單點」形成多點，甚至到「面」和深度圖(depth map)的時候，它在3D感測，以及對運算攝影的輔助。華為P/Mate系列手機、蘋果iPad Pro平板即是其後的典型應用，這可能才是更多人關注的話題。

由點到面的ToF

在談ToF於行動裝置應用之發展前，有必要將ToF技術在光學測距技術中的存在位置做個梳理。這裡我們主體上採用2001年 《光學工程》(Optical Engineering)，如圖3所示。

                               
登錄/註冊後可看大圖

圖3：光學測距技術的分類。

（來源：T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering）

光學測距的方法整體上分成主動和被動兩種。其中被動(Passive)包括了立體視覺(Stereoscopy，比如人們常說的「雙攝測距」)、聚焦合成(Depth-from-Focus，典型的類似技術比如光場相機)；而ToF被歸類到主動光學測距技術中——主動技術還包括了三角測量(Triangulation，典型的如iPhone中Face ID的結構光)、干涉量度分析法(interferometry)。

值得一提的是，這個分類方法或許仍然不夠全面。比如在不同切分維度中，三角測量這種方法本身就可以分成主動和被動兩種，雙攝測距的立體視覺就屬於被動三角測距方案。再比如說在被動光學測距技術分類上，在深度方面做文章的不僅有「depth from focus」，還有「depth from motion」、「depth from shape」等。由於篇幅限制，我們無法展開探討各種技術的優劣。這部分內容將在我們未來發佈的ToF行業與技術報告中更具體地闡述。

由於ToF技術這兩年異常受關注，ToF測距大方向分成dToF (直接ToF)與iToF (間接ToF)兩類也逐漸被更多的人所知。前文提到的ToF簡化版原理，以及意法半導體的這類方案實際上說的就是dToF，即發射端發射一個雷射脈衝，在碰到場景中的物體後反射，回到接收端的感測器——或者說光電探測器；此間就有個「計時器」電路用於測量時間。從原理上來說，dToF是一種十分直接的技術，不過由於這種技術對於光電探測器、光源和時間檢測相關電路有著很高的技術要求，所以其實現相對比較晚。

也因此dToF所用的感測器常見APD——這種二極體有著較高的增益和量子效率，採用APD比較典型的ToF影像感測器廠商有松下(Panasonic)。傳統的影像感測器，在單光子進入到像素中以後一般僅轉為單電子，在光訊號比較弱的時候，就有感光能力的問題。簡單地說，APD感測器是實現電子倍增。

就脈衝調變光的方案來看，可採用較低工作週期的照明，主動照明光可以短脈衝寬度以及高峰值輸出功率，同時兼顧人眼安全。由於峰值功率較高、SBNR (signal-to-background-noise ratio)也就極大提升，探測距離也就可以比較遠；而且APD可以避免多徑干擾之類的問題。

不過APD像素尺寸一般也非常大，要實現像素大陣列，或者說高像素也就很有挑戰。很多選擇APD像素的ToF裝置也因此需要有包含機械動作的掃描。這就不屬於我們要探討的行動裝置或者手機範疇了。

                               
登錄/註冊後可看大圖

圖4：SPAD橫切面。

（來源：Wikipedia）

dToF方案裡另一個比較有代表性的感測器技術是前文就提到的SPAD，它和APD的差別在於更為敏感。一個光生載流子就能觸發大量雪崩電流；另外APD的dToF方案裡，TDC (time-to-digital converter)的觸發訊號是由一個互阻抗放大器(TIA)產生的，而SPAD一般能夠直接產生數位觸發訊號，也就是所謂的像素內TDC (in-pixel TDC)。

SPAD相比APD得以實現小像素尺寸，而且與CMOS全相容，SPAD像素陣列晶片級高度集成也就可行了。除了更低的時間抖動，單光子檢測屬性讓脈衝寬度很短，輸出功率也就可以比較高，SBNR自然可以更高。

                               
登錄/註冊後可看大圖

圖5：dToF實現3D感測。

在我們常說的LiDAR固態方案裡，實施SPAD光電探測器，主動光源透過diffuser元件實現光線的漫射，而不需要真正的機械掃描動作，dToF就能實現並行的每個像素測量，以實現3D感測，從過去ToF僅用於單點測距，到如今3D視覺、建模這樣的應用(圖5)。

當然APD技術實際上也在發展中，比如松下今年才發佈了一種名為垂直堆疊APD (VAPD)的技術，以實現像素的小型化，能夠實現遠距離、高測距精度和更高的像素。只不過由於SPAD感測器包括淬火電路在內的各種電路仍然比較複雜，如TDC需要佔據很大的晶片上尺寸，像素也不可能做到像傳統攝影機CIS影像感測器那麼小——這些都是限制如今dToF感測器尺寸的原因。

                               
登錄/註冊後可看大圖

圖6，Sony的DepthSense 3D Sensor。

(來源：TechInsights)

從TechInsights近期公佈的消息來看，iPad Pro 2020應用的LiDAR感測器可能來自Sony (但Sony已公開的DepthSense 3D Sensor似乎只有iToF方案)，尺寸是18.0mm2，單像素大小10μm，解析度具體為3萬像素(圖6)。

雖然我們無法確定這顆感測器具體所用的是何種像素製程及結構，但考慮到iPad成像模組的大小，這個像素數量在dToF類別中應該已經相當高了。iFixit公佈的拆解視訊中，也提到其LiDAR紅外線照明點的密度也遠低於前置結構光的Face ID——這也是必然的。