h1_key

當前位置:首頁 >新聞資訊 > 解決方案>NXP(恩智浦)i.MX 8M應用處理器要添加ISP和機器學習加速器嗎?
NXP(恩智浦)i.MX 8M應用處理器要添加ISP和機器學習加速器嗎?
2022-09-01 409次


  

 

  恩智浦敢為人先,敢于引領和創(chuàng)新。恩智浦一直致力于支持i.MX應用處理器的攝像頭模塊接口。恩智浦還實現(xiàn)了CPUGPU等多個SOC共享資源的機器學習。該功能仍然運行良好(根據(jù)應用程序的需要而異),本文將解釋為什么恩智浦決定升級它,并在i.MX8MPlus中添加圖像信號處理器(ISP)和機器學習(ML)加速器。

 

  機器學習的重要性與日俱增。

  云機器學習是支持人們使用智能手機語音助手或智能揚聲器語音助手的關鍵技術。它還支持社交媒體甚至手機分組包含特定人員的照片。但這些用例都依賴于運行在云服務器上的機器學習。

  真正的挑戰(zhàn)是邊緣機器學習。I.MX8MPlus等邊緣處理器本地運行所有機器學習推理。ML推理在邊緣運行意味著,即使網(wǎng)絡訪問中斷,應用程序也可以繼續(xù)運行——這對于監(jiān)控或異常檢測等應用程序非常重要,在沒有網(wǎng)絡訪問的偏遠地區(qū)運行也非常重要。ML推理在邊緣運行也減少了決策延遲,而不是必須將數(shù)據(jù)發(fā)送到服務器進行處理并發(fā)回結(jié)果。例如,在實施工業(yè)工廠現(xiàn)場目視檢查時,低延遲非常重要,或者需要決定是接受還是拒絕掠過的產(chǎn)品。

邊緣機器學習的另一個關鍵優(yōu)勢是保護數(shù)據(jù)安全。收集的專有數(shù)據(jù)(如邊緣設備捕獲的員工、生產(chǎn)在邊緣處理并保存在本地。該系統(tǒng)不會將信息發(fā)送到云進行處理,只記錄和跟蹤云。企業(yè)的隱私不會受到損害,企業(yè)可以決定是否在云中共享信息。

 

  邊緣機器學習需要多大程度?

  現(xiàn)在,考慮到對邊緣機器學習的巨大需求,問題變成了機器學習需要多大程度。衡量機器學習加速器的一種方法是每秒運算次數(shù)(通常是8位整數(shù)相乘或累加),通常稱為TOPS(即每秒萬億次運算)。由于整體系統(tǒng)性能也受到許多其他因素的影響,TOPS是最常用的機器學習測量方法之一。

事實證明,在邊緣進行完整的語音識別(不僅僅是關鍵字識別)大約需要1-2TOPS(這取決于算法。如果你想理解用戶想要表達的意思,而不僅僅是將語音轉(zhuǎn)換為文本,你需要更多的操作次數(shù))。目標檢測(使用Yolov3等算法)也需要大約2-3TOPS。因此,機器學習加速(i.MX8MPlus2.3TOPS)是此類應用的最佳選擇。

 

  下一步:圖像信號處理器(ISP)

  所有基于攝像頭的系統(tǒng)都具有ISP功能,盡管有時可以集成到攝像頭模塊或嵌入到應用程序處理器中,并可能隱藏用戶。ISP通常會增強各種類型的圖像,其主要目的是將原始圖像傳感器每像素輸出的單色重量轉(zhuǎn)換為系統(tǒng)其他部分更常用的RGBYUV圖像。

  當攝像頭輸入網(wǎng)絡或網(wǎng)絡攝像頭(通常通過以太網(wǎng)或USB連接到應用程序處理器)時,基于視覺的系統(tǒng)中沒有ISP的應用程序處理器運行良好。對于這些應用處理器保持一定的距離,甚至可以達到100米左右。相機本身內(nèi)置ISP和處理器,可以轉(zhuǎn)換圖像傳感器信息,編碼視頻流,然后通過網(wǎng)絡發(fā)送。

  無ISP的應用處理器也適用于分辨率相對較低的攝像頭。在100萬像素或更低的分辨率下,圖像傳感器通常內(nèi)置ISP,可以將RGBYUV圖像輸出到不需要ISP的應用處理器中。

  但在大約200萬像素(1080p)或更高的分辨率下,大多數(shù)圖像傳感器依賴于系統(tǒng)中其他部件的ISP,而不是內(nèi)置ISP。它可能依賴于獨立的ISP芯片(可以運行,但會增加系統(tǒng)的功率和成本)或集成在應用程序處理器中的ISP。因此,恩智浦選擇使用i.MX8MPlus解決方案——提供高質(zhì)量的成像,特別是在200萬像素和更高分辨率的情況下,優(yōu)化成像解決方案。

  

 

在智能視覺系統(tǒng)的幫助下,智能工廠可以提高生產(chǎn)率、質(zhì)量和安全性。

 

  促進智能邊緣設備的發(fā)展

  綜上所述,i.MX8MPlus應用處理器集2.3TOPS機器學習加速器和ISP于一體,無論是智能建筑、智能城市還是工業(yè)物聯(lián)網(wǎng)應用,都將成為邊緣嵌入式視覺系統(tǒng)的關鍵組成部分。

  在嵌入式ISP的幫助下,它可以創(chuàng)建一個高質(zhì)量的圖像優(yōu)化系統(tǒng),直接連接到本地圖像傳感器,甚至為更新的機器學習算法提供這些圖像數(shù)據(jù),都可以減輕本地機器學習加速器的負擔。

  I.MX8MPlus架構(gòu)是為機器學習和視覺系統(tǒng)而優(yōu)化的,邊緣設備設計師可以像恩智浦一樣敢于引領和創(chuàng)新。具有較強的機器學習能力,配合高清攝像頭系統(tǒng),能使設備看得更清晰、更遠。新的創(chuàng)新機遇不斷涌現(xiàn)在嵌入式領域。

  I.MX8MPlus架構(gòu)是為機器學習和視覺系統(tǒng)而優(yōu)化的,邊緣設備設計師可以像恩智浦一樣敢于引領和創(chuàng)新。具有較強的機器學習能力,配合高清攝像頭系統(tǒng),能使設備看得更清晰、更遠。新的創(chuàng)新機遇不斷涌現(xiàn)在嵌入式領域。

 

  • ArtInChip匠芯創(chuàng) D21x系列高性能高安全MPU,支持硬件加密防抄板的芯片
  • 在物聯(lián)網(wǎng)環(huán)境中,設備身份認證是非常重要的一環(huán)。D21x可以通過內(nèi)置的安全模塊,如加密/解密引擎,實現(xiàn)設備的身份認證。這種認證方式可以確保只有經(jīng)過認證的設備才能接入網(wǎng)絡,從而防止未經(jīng)授權(quán)的設備接入。例如,D21x可以使用公鑰基礎設施(PKI)進行設備身份認證。在這種情況下,每個設備都有一個唯一的公鑰和私鑰。
    2023-11-17 375次
  • 美光低功耗內(nèi)存解決方案助力高通第二代驍龍XR2平臺
  • Micron美光科技宣布,其低功耗 LPDDR5X DRAM 和通用閃存 UFS 3.1 嵌入式解決方案現(xiàn)已通過高通 (Qualcomm Technologies) 最新的擴展現(xiàn)實 (XR) 平臺——第二代驍龍? XR2 驗證。美光 LPDDR5X 和 UFS 3.1 外形尺寸緊湊,提供更高速率、更優(yōu)性能和更低功耗,可靈活支持混合現(xiàn)實 (MR) 和虛擬現(xiàn)實 (VR) 設備。
    2023-11-01 323次
  • 瑞薩電子推出的無線遠程信息處理單元解決方案
  • 瑞薩電子推出的無線遠程信息處理單元解決方案融合了各種無線模塊,包括BLE、Wi-Fi和LTE,帶有GPS模塊和NFC讀卡器。它采用了DA14531MOD SmartBond TINY?模塊,為設備提供了出色的藍牙低能耗連接能力。同時,RYZ024A為全球部署提供了LTE Cat-M1蜂窩IoT模塊,保障了廣泛的無線覆蓋。
    2023-11-01 318次
  • 匠芯創(chuàng)工業(yè)級D21X系列高性能MPU支持IEEE 1588協(xié)議,在同步工業(yè)以太網(wǎng)中的應用
  • 隨著工業(yè)自動化的發(fā)展,對于工業(yè)以太網(wǎng)的同步性能要求越來越高。IEEE 1588協(xié)議作為一種精確時間同步協(xié)議,被廣泛應用于工業(yè)以太網(wǎng)中。本文將詳細介紹匠芯創(chuàng)工業(yè)級D21X系列高性能MPU內(nèi)嵌的IEEE 1588協(xié)議的原理和應用,以及其在同步工業(yè)以太網(wǎng)中的重要性。
    2023-07-20 974次
  • 瑞薩RAA223021大功率充電器解決方案
  • 瑞薩帶來一款RAA223021大功率充電器解決方案,該方案由瑞薩旗下一系列電源器件組成,包括RAA214401線性穩(wěn)壓器、RAA223021 AC/DC穩(wěn)壓器、R2A20114BFP功率因數(shù)校正(PFC)控制IC、ISL6752零電壓開關(ZVS)全橋控制器。
    2023-04-07 527次

    萬聯(lián)芯微信公眾號

    元器件現(xiàn)貨+BOM配單+PCBA制造平臺
    關注公眾號,優(yōu)惠活動早知道!
    10s
    溫馨提示:
    訂單商品問題請移至我的售后服務提交售后申請,其他需投訴問題可移至我的投訴提交,我們將在第一時間給您答復
    返回頂部