h1_key

當前位置:首頁 >新聞資訊 > 技術文章>英飛凌>ToF 3D圖像傳感器與攝影和混合現(xiàn)實的方式
ToF 3D圖像傳感器與攝影和混合現(xiàn)實的方式
2023-05-11 357次


 

 

  視頻技術的問世掀起了一場席卷全球的視聽通信革命。今天,整個世界都非常依賴照片和視頻媒體來實現(xiàn)各種目的,包括商業(yè)、通信、教育和娛樂。采集和顯示視頻的機制也突飛猛進。而3D攝像頭的采用,使用戶可以以前所未有的信息量觀察事物。

這個過程所不可或缺的一環(huán),就是給數(shù)字視頻添加深度信息,使其更接近真實。本文探討了如何使用飛行時間(ToF)傳感器實現(xiàn)此目的,以及ToF傳感器正在如何改變我們與VR和其他視頻技術的交互方式。

 

  ToF 3D圖像傳感器簡介

總的來說,飛行時間(或 ToF)是一種基于光的飛行時間測量物體距離的方法。ToF傳感器或攝像頭會發(fā)射調制紅外光束,并測量從不同距離的不同表面接收到的光的相位差。該數(shù)據(jù)被轉換為距離,并為照明場景提供深度。ToF傳感器使用逐像素處理,這需要復雜的算法,但由于其廣泛的適用性,愈發(fā)受到物流、汽車和消費電子領域的親睞。通過在三個維度上進行掃描,ToF傳感器可以創(chuàng)建目標對象的 3D 圖像。

 

  ToF傳感器工作原理

  3D ToF圖像傳感器的操作非常簡單。它根據(jù)光子混合器設備(PMD)的原理進行檢測。ToF傳感器主要分為兩類:直接傳感器和間接傳感器。直接ToF傳感器的工作原理是通過發(fā)射光、收集反射信號,然后測量信號延遲[圖1];接著,用光飛行時間來測量距離,從而實現(xiàn)場景的3D重建。

  

 

1 直接ToF傳感器的工作原理(簡版)

 

  間接ToF傳感器的工作原理是,不斷發(fā)射調制信號并分析反射信號,以確定相位差。兩個接收器以調制光的頻率不斷地打開和關閉,其中一個接收器與另一個接收器的操作相位不同。因此,每個接收器都會收到部分反射信號,并根據(jù)接收到的光的數(shù)量,來確定相位差,如圖 2 所示。

  

 

2 兩個檢測器交替收集感興趣物體的光

 

  優(yōu)勢及應用

  ToF傳感器可以在不影響圖像分辨率的情況下,擴大測量范圍,并在低成本、可靠和緊湊的封裝中提供全部數(shù)字細節(jié),這為3D增強型攝影提供了優(yōu)化解決方案。最新的ToF傳感器功耗較低,對移動設備來說,是一個具有吸引力的選擇。此外,與結構光發(fā)射等技術相比,ToF傳感器對精確的機械對準的依賴程度較低。新型ToF傳感器允許使用更高的調制頻率,因此,顯著提高了精度。

  Stratview Research的數(shù)據(jù)顯示,從2021到2026年,ToF的年增長率有望達到16.8%(1)。ToF攝像頭的應用主要集中在消費電子行業(yè)和物流行業(yè)的3D成像和掃描。它有望通過以低成本提供豐富的3D視覺效果來徹底革新3D檢測和成像。

ToF傳感器可以用于輔助面部識別、安全跟蹤、庫存管理,以及環(huán)境和建筑物映射等應用。在現(xiàn)代車輛中,ToF傳感器可實現(xiàn)近距離環(huán)境映射、輔助泊車以及車內的許多其他功能,例如:駕駛員監(jiān)控或手勢控制。不過,最有趣的應用要數(shù)消費電子和混合現(xiàn)實。憑借小巧的外形和較高的能效,ToF傳感器可能是唯一一項準備進軍消費電子領域的3D成像技術。

 

  案例研究:增強AR/ MR體驗

  將3D ToF傳感器整合到消費電子領域,仍是一個尚未開發(fā)的市場,具有顛覆性的意義。Counterpoint Research稱,在智能手機中整合ToF攝像頭,有望成為未來的主要趨勢之一(2)。在最近的一場網(wǎng)絡研討會上,來自TECNO、三星和DXOMARK Image Labs的專家聲稱,ToF和動態(tài)視覺傳感器(DVS)等功能可以使手機攝像頭的性能勝過數(shù)碼單反相機(DSLR)(3)。在過去,智能手機和游戲設備將3D ToF攝像頭用于高度逼真的增強顯示/混合現(xiàn)實(AR/MR)應用。AR/MR應用將現(xiàn)實世界與虛擬元素相融合,為用戶帶來了更好的商業(yè)互動、3D設計和游戲娛樂體驗。

  盡管AR/MR尚未成為主流,但隨著這些技術背后的工具的迅猛發(fā)展,AR/MR成為智能手機日常用途的代名詞指日可待。

  實現(xiàn)MR體驗所需的兩大要素分別是:智能手機攝像頭以及可以檢測用戶周圍環(huán)境并將其顯示在屏幕上的應用程序。通過這種方式,就可以映射現(xiàn)實世界,然后將虛擬圖像放入其中。為實現(xiàn)這一點,智能手機攝像頭必須能夠對掃描區(qū)域提供深度和細節(jié)圖像。

  ToF傳感器通過準確映射物體及其周圍環(huán)境,成為該場景中的主角。MR是大有前途的3D設計輔助技術,例如:室內設計師可以使用自己的手機繪制房間,并進行數(shù)字化家具布置。同樣,真實世界的物體也可以使用ToF傳感器攝像頭進行3D映射和數(shù)字化處理。市面上已經(jīng)有了很多這類商用移動應用程序,但卻因攝像頭而無法實現(xiàn)逼真的映射效果(4)。

  ToF將顯著增強深度信息,而映射圖像又為創(chuàng)新和快速的 3D設計帶來了無限可能?;旌犀F(xiàn)實的另一個應用是商業(yè)交互,專業(yè)人士可以借此展示逼真的場地/項目圖像,來加深理解。

  MR還被用于創(chuàng)建真實的商業(yè)背景,也就是將人們插入一個人的視野中,并將虛擬會議變成真實會議。ToF傳感器是這個操作的核心,因為只有3D成像提供的深度信息才能使這種體驗更加逼真。最近,由社交網(wǎng)絡巨頭推出的元宇宙概念就將利用這一精確技術,這將促進對ToF傳感器的需求和創(chuàng)新。

  游戲是另一個利用AR/MR ToF優(yōu)勢的領域。游戲設備和現(xiàn)在的智能手機正在使用ToF傳感器的手勢識別功能來實現(xiàn)完全沉浸式的體驗。當ToF傳感器被集成到移動設備的前置攝像頭時,就可以大幅增強面部識別等安全措施。通過在后置攝像頭中使用3D技術,ToF傳感器有望實現(xiàn)出色的計算攝影和沉浸式VR體驗。無需大量后期處理,ToF傳感器就可以在圖像和視頻中有效地渲染背景虛化效果。

  在理想的情況下,混合現(xiàn)實要比虛擬現(xiàn)實和增強現(xiàn)實技術先進得多。它對處理能力提出了較為苛刻的要求,需要實時獲取高精度3D深度數(shù)據(jù)。此外,光照條件是實現(xiàn)MR所需的逼真感的一大挑戰(zhàn)。不論是房屋和車輛等室內環(huán)境,還是光照受天氣影響的室外環(huán)境,強大的ToF攝像頭都必須能夠在所有光線條件下捕獲準確的深度數(shù)據(jù)。

在商業(yè)交互和日常生活中使用MR技術,對許多人來說似乎為時過早。然而,在新冠疫情期間,整個世界對模糊虛擬世界和現(xiàn)實世界邊界的服務需求呈指數(shù)級增長,這促使非面對面服務加速發(fā)展。因此,我們可以合理地預期,在不遠的將來,增強AR/MR技術將成為工作和娛樂所不可或缺的技術。更不用說ToF這類技術,它作為愈發(fā)強大的MR性能的支柱性技術,將變得更加重要。

 

  英飛凌ToF傳感器

  英飛凌與pmdtechnologies合作推出了REAL3?圖像傳感器系列,pmdtechnologies是一家專注于 ToF 技術的德國公司,在該領域處于領先地位。這系列傳感器使用紅外光進行飛行時間(ToF)傳感,并為每個像素配備一個微透鏡,因此,幾乎沒有光能損失,而且準確性更高。英飛凌第六代REAL3? 3D ToF傳感器特別專注于消費類應用,例如:智能手機應用,特別是基于AR/MR的拍照和攝像。該傳感器的功耗比前幾代產品低40%,這對于需要長時間開啟ToF攝像頭的游戲等應用來說非常重要,可以保護電池壽命??紤]到現(xiàn)代智能設備對尺寸的嚴格限制,ToF傳感器的設計占用面積僅為4.4 × 4.8 mm2,與前幾代產品相比縮小了35%。

  REAL3?圖像傳感系統(tǒng)的另一個突出特點是,增大了傳感范圍,可達10 m。調制頻率越高,ToF傳感器的深度精度就越好,但這會影響傳感器的測量范圍。因此,REAL3?圖像傳感器使用兩個調制頻率,并對收集到的數(shù)據(jù)進行細致的后期處理,以便在不影響深度質量的情況下,實現(xiàn)相當大的測量范圍。這些傳感器還配備了pmdtechnologies的背景照明抑制(SBI)技術,可降低像素飽和度,使攝像頭能夠在各種光照條件下運行。傳感器還可以通過 I2C 接口動態(tài)地重新配置,以適應新的操作環(huán)境。通過將所有這些功能整合到一個成像系統(tǒng)中,看似不可能的應用現(xiàn)在似乎已經(jīng)成為一個確定的現(xiàn)實。因此,設計師需要留意英飛凌在高精度3D圖像傳感器方面的最新創(chuàng)新。

 

  • 英飛凌的EiceDRIVER?高低邊柵極驅動器IR2181STRPBF
  • 其中,英飛凌的EiceDRIVER? 600 V 高低邊柵極驅動器 IC(IR2181STRPBF),具有典型的 1.9 A 拉電流和 2.3 A 灌電流,具有更高的帶載能力,可驅動 MOSFET和IGBT,為產品從開發(fā)設計到最終應用全面保駕護航。
    2023-12-27 293次
  • 英飛凌門極驅動正壓對功率半導體性能影響
  • 對于半導體功率器件來說,門極電壓的取值對器件特性影響很大。以前曾經(jīng)聊過門極負壓對器件開關特性的影響,而今天我們來一起看看門極正電壓對器件的影響。文章將會從導通損耗,開關損耗和短路性能來分別討論。
    2023-12-22 290次
  • 英飛凌160V MOTIX?三相柵極驅動器IC
  • MOTIX?三相柵極驅動器集成電路6ED2742S01Q是英飛凌MOTIX?品牌的新成員,該品牌通過可擴展的產品組合提供低壓電機控制解決方案。它是一款160V絕緣體上硅(SOI)柵極驅動器IC,采用5x5 mm2 QFN-32封裝,帶有熱效率高的裸露功率焊盤,并集成了電源管理單元(PMU)。
    2023-07-21 352次
  • 英飛凌6.5A,2300V單通道隔離式柵極驅動器評估板
  • 英飛凌6.5A,2300V單通道隔離式柵極驅動器評估板(配SiC MOSFET)。EVAL-1ED3142MX12F-SIC采用半橋電路,用兩個柵極驅動IC?1ED3142MU12F來驅動IGBT、MOSFET和SiC MOSFET等功率開關。
    2023-06-28 410次
  • 英飛凌的 CoolSiC? XHP? 2 高功率模塊
  • 英飛凌科技股份公司為了滿足上述需求,在其 CoolSiC?功率模塊產品組合中增加了兩款新產品:FF2000UXTR33T2M1和 FF2600UXTR33T2M1。這些功率模塊采用新開發(fā)的3.3kV CoolSiC? MOSFET和英飛凌的.XT互連技術,封裝為XHP? 2,專門針對牽引應用量身定制。
    2023-06-28 385次

    萬聯(lián)芯微信公眾號

    元器件現(xiàn)貨+BOM配單+PCBA制造平臺
    關注公眾號,優(yōu)惠活動早知道!
    10s
    溫馨提示:
    訂單商品問題請移至我的售后服務提交售后申請,其他需投訴問題可移至我的投訴提交,我們將在第一時間給您答復
    返回頂部