研調機構 MarketsandMarkets 預估，今年全球飛時測距 (ToF) 傳感器市場規模約 28 億美元，2025 年將達 69 億美元，期間年復合成長率 (CAGR) 為 20%，智慧手機與汽車為主要動力。由于快速獲取深度影像在機器人、人機交互和場景建模等皆應用廣泛，加上 3D 機器視覺 (Machine Vision) 在航天國防、消費電子和醫療保健等行業逐漸推展以及智慧工廠的廣為部署，都讓這個原本單純用于對焦拍攝的功能模塊有了更多可能——在手機的 3D 相機嵌入 ToF 傳感器將為增強現實 (AR)／虛擬現實 (VR) 的前行加柴添火。
圖1：ToF 傳感器市場預測
資料來源：https://www.marketsandmarkets.com/Market-Reports/time-of-flight-sensor-market-264466295.html
資料來源：https://www.marketsandmarkets.com/Market-Reports/time-of-flight-sensor-market-264466295.html
今后五年，消費電子是 ToF Sensor 主場
他們表示，汽車的 AR 抬頭顯示器 (HUD) 和投影機皆是 ToF 傳感器的目標應用，使高級駕駛輔助系統 (ADAS) 可顯示視覺警報，便于駕駛員查看投影在顯示屏幕上的虛擬信息。受惠于高可靠、低功耗、低成本、易于集成和市場需求上揚，2020～2025 年將是 ToF 傳感器在智能手機、穿戴設備、平板電腦和相機等消費電子增長最快的時期，包括：影像、位置和超音波傳感器；不過亞太地區因為對于制造業的監視和檢查應用需求增加，CAGR 最高。與此同時，ToF 傳感器需求激增將推動 ToF 技術更上層樓，惟相關方案的額外成本恐將造成桎梏。
他們表示，汽車的 AR 抬頭顯示器 (HUD) 和投影機皆是 ToF 傳感器的目標應用，使高級駕駛輔助系統 (ADAS) 可顯示視覺警報，便于駕駛員查看投影在顯示屏幕上的虛擬信息。受惠于高可靠、低功耗、低成本、易于集成和市場需求上揚，2020～2025 年將是 ToF 傳感器在智能手機、穿戴設備、平板電腦和相機等消費電子增長最快的時期，包括：影像、位置和超音波傳感器；不過亞太地區因為對于制造業的監視和檢查應用需求增加，CAGR 最高。與此同時，ToF 傳感器需求激增將推動 ToF 技術更上層樓，惟相關方案的額外成本恐將造成桎梏。
ToF 雖能提供精確深度測量、拜智能手機 3D 臉部解鎖之賜而聲名大噪，但另一研調機構 Research And Markets 表示，許多目前可用的 ToF 相機分辨率偏低、且易受到各種測量誤差影響，包括來自傳感器的噪聲。這歸咎于 ToF 難以生成正弦信號、依賴反射率和積分時間的非線性深度偏移，以及信號在深度不均勻性 (邊緣) 處迭加而產生的動態像素所導致的系統性擺動誤差。所以，目前許多 ToF 傳感器系統都是借助深度學習 (Deep Learning) 的網格＂占用機率＂或記錄不同視圖生成的點云，來組合深度影像以建構 3D。
身為先進廠商之一的意法半導體 (ST) 印證：ToF 以手機出貨為大宗，產品重點在于關系到視野涵蓋范圍的視場 (FOV)，以及單點測距能劃分成多少區域？如今，ST FlightSense 從一維單點測距擴展到多區域測距、再到高分辨率 3D 深度傳感器，近兩年 ToF 模塊出貨量已暴增近三倍；ST 并透露，最新 3D ToF 模塊預計于今年底問市。亞德諾半導體 (ADI) 對 3D ToF 也多有著墨，正與思科系統 (Cisco) 的衍生公司 Jungo Connectivity 共同研究將車載光達 (LiDAR) 和人工智能 (AI) 用于駕駛艙內的監控技術。
圖2：使用先進的深度學習、機器學習和電腦視覺算法，通過面向駕駛員的攝像頭來實時檢測駕駛員狀態并支持車內全面檢測技術，例如：乘客人數統計、安全帶使用情況檢測、危重病情檢測或觀察
資料來源：https://www.analog.com/en/about-adi/news-room/press-releases/2020/2-5-2020-analog-devices-jungo-cooperate-on-in-cabin-monitoring-technology.html
資料來源：https://www.analog.com/en/about-adi/news-room/press-releases/2020/2-5-2020-analog-devices-jungo-cooperate-on-in-cabin-monitoring-technology.html
高功率納秒光學脈沖捕捉，車內狀態無所遁形
使用高功率納秒光學脈沖＂抓取＂(capture) 汽車內部狀態，可觀察駕駛員的頭部和身體位置及視線方向，以檢測手勢動作或是否有睡意，例如，一旦感測到駕駛有困倦情形或因電腦視覺算法／AI／光檢測／測距系統而分心，Jungo 的 CoDriver 軟件系統會提出警告。CoDriver 還支持乘客計數、安全帶磨損或關鍵醫療狀況檢測或觀察。上述 3D ToF 系統使用 640Ｘ480 像素的傳感器，號稱分辨率是同業的四倍，更易于檢測更小、更薄的物體 (包含深度檢測)，不需后端應用處理器 (AP) 就能輸出深度像素數據。
使用高功率納秒光學脈沖＂抓取＂(capture) 汽車內部狀態，可觀察駕駛員的頭部和身體位置及視線方向，以檢測手勢動作或是否有睡意，例如，一旦感測到駕駛有困倦情形或因電腦視覺算法／AI／光檢測／測距系統而分心，Jungo 的 CoDriver 軟件系統會提出警告。CoDriver 還支持乘客計數、安全帶磨損或關鍵醫療狀況檢測或觀察。上述 3D ToF 系統使用 640Ｘ480 像素的傳感器，號稱分辨率是同業的四倍，更易于檢測更小、更薄的物體 (包含深度檢測)，不需后端應用處理器 (AP) 就能輸出深度像素數據。
在駕駛艙內，更高的分辨率可用于臉部識別以獲取信息娛樂、個性化服務或在線付款。ADI 3D ToF 解決方案包括處理、雷射驅動器、電源管理、開發板及相關軟件、韌體，亦有提供合作伙伴的設計服務模塊。ADI 亦與 First Sensor 公司開發光達產品，利用雪崩光電二極管 (APD) 優化互阻放大器 (TIA)，包括將寬動態范圍光電流轉換為低阻抗電壓信號的多信道 TIA。ADI 表示，優化 APD 和 TIA 之間的互連至關重要，因為它會顯著影響背景噪聲和帶寬。這兩個參數的改進直接轉化為光達系統，該系統可在更長的范圍內以更高的精度檢測物體。
ADI 以在高性能微機電 (MEMS)、射頻 (RF)／毫米波 (mmWave) 和光子／光學技術上的厚實底蘊，此項合作標志 ADI Drive360 自動駕駛解決方案策略的下一階段。另一方面，ToF 數組是用于移動后 3D 感測的關鍵組件，而 ToF 相機嵌入智慧手機可追溯至 2016 年，乃使用 pmd 和英飛凌 (Infineon) 的 ToF 數組。英飛凌主張，傳感器填補了現實與數字世界的鴻溝，與適當的軟件結合，可為智能設備和機器人賦予視覺、聽覺、嗅覺、知覺，直觀了解環境，重點是如何連結、詮釋來自于不同傳感器的信息，這也是他們與 pmd 合作的動機。
圖3：ToF 技術將單個調變的紅外光源投射到感興趣的對象、用戶或場景上，然后由 ToF 成像儀捕捉反射光并測量每個像素的深度、幅度和相位差
資料來源：https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/
資料來源：https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/
細微面容、手勢變化，ToF 了如指掌
3D 深度傳感器在智能手機及依賴于精確 3D 影像數據的應用扮演關鍵角色，與立體視覺或結構光技術相比，ToF 令人心動的性能、精巧和功耗，更適用于電池供電設備。ToF 深度傳感器可實現臉部、手部細節或物體的精確 3D 影像，但前提是須確保映像出來的影像與原始影像匹配才有意義；而高性能像素數組可實現出色的戶外性能，尤其是在強烈陽光下。通過英飛凌專利 SBI (抑制背景照明) 電路，可在每個像素實現 VGA 分辨率，其新型 3D 影像傳感器芯片 IRS2877C 將于今年中量產。
3D 深度傳感器在智能手機及依賴于精確 3D 影像數據的應用扮演關鍵角色，與立體視覺或結構光技術相比，ToF 令人心動的性能、精巧和功耗，更適用于電池供電設備。ToF 深度傳感器可實現臉部、手部細節或物體的精確 3D 影像，但前提是須確保映像出來的影像與原始影像匹配才有意義；而高性能像素數組可實現出色的戶外性能，尤其是在強烈陽光下。通過英飛凌專利 SBI (抑制背景照明) 電路，可在每個像素實現 VGA 分辨率，其新型 3D 影像傳感器芯片 IRS2877C 將于今年中量產。
邁來芯 (Melexis) 汽車級 ToF 影像傳感器 MLX75027，在單個球柵數組封裝 (BGA) 提供 VGA (640 x 480 像素) 分辨率的影像感測和處理，使用調變光源和光學 ToF 感測創建駕駛艙三維影像，用于監視人／物、辨識手勢、檢測車輛外部空間、行人和障礙物的碰撞預警以及導航應用。該器件支持高達 100MHz 調變頻率，可發揮垂直腔面發射激光器 (VCSEL) 的全部潛力以實現高距離精度，支持 135 FPS 幀速率，能檢測、追蹤快速移動的物體，評估板 EVK75027-110-940-1 可提供 940nm VCSEL 照明和帶有內置帶通濾波器的 110 度視場光學器件。
值得留意的是，復合式 (Combo) 產品正在興起。SiLC Technologies 力推＂4D ToF＋視覺傳感器＂系統單芯片 (SoC)——智能視覺，是光達系統的理想方案；傳統圖像傳感器在直接將光子轉換為電子建立 2D 圖像的過程，會忽略光子在相位、波長和偏振方面所隱含的大量信息——原始 ToF 是經由查看兩個或多個測量值以算法得出速度數據；＂智能視覺＂的調頻連續波 (FMCW) 可實現無干擾的仿人眼安全操作，利用連貫檢測技術實現低雷射峰值功率并＂同時測量瞬間速度＂。另隨著越來越多的車輛配備光達，FMCW 僅接收相干返回的光子，不易受到其他光達干擾。
圖4：SiLC Technologies 采用連貫測量方法，可將精度提高幾個數量級
資料來源：https://www.silc.com/
資料來源：https://www.silc.com/
FMCW 1550nm 強勢登場，但復雜度＆成本待解
SiLC 表示，通常這樣的方案需要整合窄線寬激光器和同調接收器 (相干接收器) 等價格高昂的電信級組件，而他們可解決這樣的困擾：利用成熟的硅光子平臺，將所有必需的功能集成到單一硅芯片中，進而提供緊湊且經濟高效的解決方案。今年美國消費電子展 (CES 2020) 期間，再與 Varroc 照明系統聯袂展示上述單芯片在汽車 LED 前照燈的應用，利用四個 SiLC 的硅光子 FMCW 1550nm 視覺芯片，讓每個前照燈可提供完整的 20 x 80 度視場，可準確檢測高度、寬度、距離、反射率、速度和光偏振，并強調此一芯片架構可無縫嵌入車輛的任何位置。
SiLC 表示，通常這樣的方案需要整合窄線寬激光器和同調接收器 (相干接收器) 等價格高昂的電信級組件，而他們可解決這樣的困擾：利用成熟的硅光子平臺，將所有必需的功能集成到單一硅芯片中，進而提供緊湊且經濟高效的解決方案。今年美國消費電子展 (CES 2020) 期間，再與 Varroc 照明系統聯袂展示上述單芯片在汽車 LED 前照燈的應用，利用四個 SiLC 的硅光子 FMCW 1550nm 視覺芯片，讓每個前照燈可提供完整的 20 x 80 度視場，可準確檢測高度、寬度、距離、反射率、速度和光偏振，并強調此一芯片架構可無縫嵌入車輛的任何位置。
研調機構 IDTechEx 指出，1550nm 是有利選擇，因為其最大工作功率比 905nm 功率高四十倍、太陽輻射比 905nm 低三倍，且在雨、雪、潮濕表現更佳；相較于波長＜905nm、需調變幅度以進行信號編碼的 ToF，＂信號噪聲比＂(SNR，信噪比) 可提高十倍——SNR 與峰值功率成正比；此外，可通過線性調頻長度控制距離分辨率和精度。唯一要求是：需要更復雜的非硅激光器和檢測技術；另 1550nm 采用的應是 InP (磷化銦) 工藝，須放置在空腔中并通過板載驅動電路線性化、且需要非硅光電探測器的協助，成本較高。
FMCW 的設計和制造皆復雜許多，需要可調諧的窄帶寬雷射光源。SiLC 單芯片架構會產生向上和向下的線性調頻 (頻率斜坡)，而源于速度和范圍的返回信號延遲會導致自身頻移。此時，可通過＂返回信號＋本地信號＂取得＂拍頻＂(beat note 或 beat frequency) 測量。同樣聚焦 1550nm 的還有豪威科技 (OmniVision) 與光程研創 (Artilux)，面向移動設備、汽車光達和機器視覺應用共同開發號稱＂全球首個基于硅基鍺 (GeSi) 光子之廣譜 3D ToF 傳感器＂，可檢測范圍涵蓋可見光及 850nm/940nm、1350nm/1550nm 不可見光，擬于今年第一季量產。
深度誤差、測量時間、背景噪聲，魔鬼藏在細節里
光程研創表示，GeSi 像素在更長的近紅外波工作比 940nm 安全得多，可在符合安全法規下使用更高的雷射功率，這意味著可在 1200～1400nm 安全部署的雷射功率是 940nm 的十倍；代工伙伴臺積電 (TSMC) 補充，GeSi 的深度誤差比硅像素低。與此同時，瑞士半導體廠商 ESPROS Photonics 試圖使用高性能 CCD 解決 ToF 光達測量時間與 SNR 之間的兩難。為等待遠方信號，影像傳感器須長時間保持開啟、累積大量背景信號而產生散粒噪聲 (shot noise)——與＂環境時間積分的時間平方＂成正比，信號強度又與＂距離平方＂成正比。
光程研創表示，GeSi 像素在更長的近紅外波工作比 940nm 安全得多，可在符合安全法規下使用更高的雷射功率，這意味著可在 1200～1400nm 安全部署的雷射功率是 940nm 的十倍；代工伙伴臺積電 (TSMC) 補充，GeSi 的深度誤差比硅像素低。與此同時，瑞士半導體廠商 ESPROS Photonics 試圖使用高性能 CCD 解決 ToF 光達測量時間與 SNR 之間的兩難。為等待遠方信號，影像傳感器須長時間保持開啟、累積大量背景信號而產生散粒噪聲 (shot noise)——與＂環境時間積分的時間平方＂成正比，信號強度又與＂距離平方＂成正比。
圖5：長程測量 vs. 噪聲的權衡
資料來源：
https://www.idtechex.com/en/research-article/idtechex-attends-autosens-latest-trends-in-automotive-lidars/19715
資料來源：
https://www.idtechex.com/en/research-article/idtechex-attends-autosens-latest-trends-in-automotive-lidars/19715
因此，長程測量的環境散粒噪聲很容易將背景信號掩蓋掉。ESPROS Photonics 說明，CCD 傳感器會通過 CCD 數組將測量到的光子依循個別像素 (pixel-by-pixel) 做轉換，需時約 5ns。一旦發出雷射光會自動選擇適合者，將捕捉到的光線轉換為電荷，再通過 CCD 數組依序傳送，并一再重復這個過程。最終，總曝光時間為 5ns，可減少 360 倍的環境光。好處是：可捕捉遠處反射的信號，無需長時間開啟攝像頭，因而可將噪聲降至最低。同場競技的還有本就在 ToF 傳感器芯片和核心算法擁有壓倒性優勢的索尼 (Sony)。
Sony 在 CES 展示集成 33 個傳感器的電動車 Vision-S——包括使用三部固態光達測量距離以產生準確的 3D 空間視圖，并借助 ToF 檢測／識別車內人員。順帶一提，Sony 自 2015 年收購比利時手勢識別公司 SoftKinetic 后，順勢取得 DepthSense ToF 感測系統，奠定厚實基礎；去年推出 ToF 相機模塊就一舉在 3D 感測接收器搶下 45% 市占。同屬日系廠商，松下 (Panasonic) 日前發布基于自有 APD 技術的 ToF 影像傳感器。借助電子倍增器和電子儲存的垂直堆棧結構 (VAPD)，能減少傳統單光子雪崩光電二極管 (SAPD) 的像素面積。
圖6：常規傳感器和新型垂直堆棧式 APD 傳感器之像素結構比較圖
資料來源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
資料來源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
弱光檢測＋光子累積和時分間接，讓 ToF 看得更遠
如此一來，可根據物體位置獲取百萬像素、間距為 6μm 的高精度 3D 信息且便于微型化。除了長距離和高分辨率的 3D 成像，新傳感器還實現了高精度測距，可精確檢測遠處重迭的人和物體。有別于常規 ToF 傳感器不能檢測弱光信號、僅限于短距離檢測；通過將入射光子的數量轉換為積分信號并應用間接 ToF 計算，即使在 10～100 公尺的長距離，也能實現 10 公分的短距間隔感應成像。松下早先于 2018 年發布配備 APD 遠程的 ToF 影像傳感器雖能檢測由近而遠的小物體，但測距精度只有 1.5 公尺，遠處人、物仍有重迭現象。
如此一來，可根據物體位置獲取百萬像素、間距為 6μm 的高精度 3D 信息且便于微型化。除了長距離和高分辨率的 3D 成像，新傳感器還實現了高精度測距，可精確檢測遠處重迭的人和物體。有別于常規 ToF 傳感器不能檢測弱光信號、僅限于短距離檢測；通過將入射光子的數量轉換為積分信號并應用間接 ToF 計算，即使在 10～100 公尺的長距離，也能實現 10 公分的短距間隔感應成像。松下早先于 2018 年發布配備 APD 遠程的 ToF 影像傳感器雖能檢測由近而遠的小物體，但測距精度只有 1.5 公尺，遠處人、物仍有重迭現象。
今年新問市的 APD-ToF 可解決此問題，且最大距離為 250 公尺。通常，ToF 測距借助測量從光源發出的撞擊子、反射和返回的光子飛行時間來計算距離。從＞10 公尺處反射意味：從機率上說，一個光子的信號幾乎無法到達！特別一提的是，松下的＂弱光檢測技術＂可通過使用內置在所有 APD 像素中的獨特積分電路，穩妥捕捉單一光子的弱信號并以機率計算入射光子的數量。另＂光子累積和時分間接＂ToF 技術可將入射光子的數量轉換為積分信號，并適用于短距離的間接 ToF 計算，如前所述，使 3D 成像能以 10 公分間隔的距離精度實現 10～100 公尺的長距離檢測，這對于傳統的 ToF 傳感器和光達來說是困難的。
圖7：右圖中的 APD-ToF 傳感器，使用光子累積和時分間接 ToF 技術所獲取的 3D 范圍圖像層次更為清晰
資料來源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
資料來源：https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html
