當(dāng)前位置： CompoTech China > 專題 >

機(jī)器多“看” 我們省心

本文作者：徐俊毅點擊： 2021-09-24 18:25

前言：

機(jī)器視覺是包含圖像、機(jī)械、控制、光學(xué)、傳感器、模擬半導(dǎo)體和數(shù)字半導(dǎo)體等多項內(nèi)容的綜合技術(shù)，它具有高度的靈活性和適應(yīng)能力，在大批量重復(fù)性的工業(yè)制造中，可顯著提升制造效率并降低人工成本，在不適合人工操作的危險環(huán)境發(fā)揮作用，同時還能超越人類肉眼的視覺范圍，根據(jù)需求“觀察”到更多有用信息。

人類透過大腦和眼睛還有其他四中感知能力實現(xiàn)對外部的觀察和理解，機(jī)器視覺也在做同樣的事情，是機(jī)器學(xué)習(xí)和人工智能技術(shù)的基礎(chǔ)。透過機(jī)器視覺搜集到的信息，進(jìn)行機(jī)器學(xué)習(xí)，分辨出目標(biāo)、時間地點等基本信息，再透過AI技術(shù)進(jìn)行認(rèn)知推理做出決策。越來越多的機(jī)器能夠以更廣泛、更智能的方式，直觀地解譯和了解外界環(huán)境，“思考”能力在快速提升。

GPU成為變機(jī)器視覺的最強(qiáng)大腦

伴隨著計算設(shè)備的能力攀升，機(jī)器視覺的信息處理能力正變得日益強(qiáng)大。設(shè)計人員不斷地在計算效率和計算靈活性這兩個方向上尋找平衡點，CPU，F(xiàn)PGA、ASIC器件在機(jī)器視覺應(yīng)用中扮演著最強(qiáng)大腦的作用。在上個世界最后的20年中，CPU為主的計算設(shè)備以年均性能提升1.5倍，CPU是機(jī)器視覺的計算力來源。但進(jìn)入21世紀(jì)之后，由于工藝以及市場需求的變化，通用微處理器的性能提升速度有所下降，年均性能提升降至1.1倍，而GPU的處理能力卻保持了高增長，達(dá)到了年均1.5倍的性能提升，預(yù)計到2025年，GPU的計算能力相比世紀(jì)初將提升1000倍！

GPU同時還是一個大規(guī)模并行計算引擎，可以同時在大數(shù)據(jù)（像素）集中應(yīng)用相同的指令，將計算效率大幅度提升，遠(yuǎn)超通用處理器性能，正式機(jī)器視覺迫切需要的能力之一。這也是越來越多的業(yè)者開始使用GPU設(shè)備為機(jī)器視覺提供”大腦”。

資料來源 :nvidia.com

邊緣端的機(jī)器視覺系統(tǒng)

物聯(lián)網(wǎng)設(shè)備的大規(guī)模普及，讓計算資源更加靠近機(jī)器視覺成為新的趨勢。基于MCU、MPU的邊緣端機(jī)器視覺成為市場熱點。相比在云端處理數(shù)據(jù)，邊緣端機(jī)器視覺具有很多優(yōu)勢：

?低延遲：數(shù)據(jù)傳輸距離短，便于快速進(jìn)行認(rèn)知推理；

?安全性和可靠性：沒有中間環(huán)節(jié)的數(shù)據(jù)篡改危險；

?成本優(yōu)勢：無需將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行分析處理，節(jié)約了帶寬和其他花費(fèi)

?靈活性：在滿足需求的情況下，設(shè)備尺寸可以根據(jù)需要靈活調(diào)整。

通常在邊緣的機(jī)器視覺處理，主要完成特定目標(biāo)，這樣對計算能力的要求并不高，比如在智慧鎖應(yīng)用中，識別正確的戶主信息，就不需要將數(shù)據(jù)上傳到云端來回通信。

以大聯(lián)大世平推出的基于NXP產(chǎn)品的EdgeReady人臉識別方案為例

圖:大聯(lián)大世平基于i.MX RT106F開發(fā)工具包的EdgeReady人臉識別方案

EdgeReady包括i.MX RT106F MCU、運(yùn)行時間庫和預(yù)整合的機(jī)器學(xué)習(xí)人臉識別算法，以及相機(jī)和記憶等所有外圍設(shè)備的所需驅(qū)動程序。用于認(rèn)證和操作智能樓宇、工業(yè)和家庭的安全機(jī)器、設(shè)備和訪問點，包括門、鎖、便利設(shè)施、電梯、車庫門、安全系統(tǒng)等。

EdgeReady方案支持了多達(dá)3000張人臉的本地存儲，而且完全離線運(yùn)行，無需Wi-Fi/BLE成本，消除了云端隱私問題，而且啟動快速，從待機(jī)到完成人臉識別僅需0.8秒。

全局式快門技術(shù)提升機(jī)器視覺性能

圖:高性能全局快門捕捉示例 (圖源onsemi)

在機(jī)器視覺的圖像傳感器應(yīng)用中，有兩項不同技術(shù)：卷簾式快門（Rolling Shutter），全局式快門（Global Shutter）。卷簾式快門類似老式電視的逐行掃描技術(shù)，由于中間會有時差，所以當(dāng)拍攝高速運(yùn)轉(zhuǎn)情況下的物體時，圖像就變形，出現(xiàn)如上圖所示的情況，其中一個原因就是過去的圖像處理芯片的計算能力不足。而全局快門一次性實時捕捉所有的信號，拍攝出的效果非常清晰完整且不會變形失真。在現(xiàn)代工業(yè)和物流應(yīng)用中，比如藥品分揀應(yīng)用中，全局式快門就可以進(jìn)一步提升制造和運(yùn)輸?shù)男剩谶@兩年針對COVID-19的疫苗制造和分發(fā)過程中，采用全局快門的機(jī)器視覺技術(shù)已經(jīng)發(fā)揮重要作用。

當(dāng)然，卷簾式快門技術(shù)并非就要徹底淘汰，在一些靜態(tài)識別為主的機(jī)器視覺應(yīng)用中，卷簾式快門技術(shù)可以有效控制成本。

機(jī)器視覺市場穩(wěn)健快速成長

據(jù)Frost ＆ Sullivan 預(yù)計到 2022 年，全球機(jī)器視覺設(shè)備市場規(guī)模將增長到 136.2 億美元，亞太地區(qū)將繼續(xù)成為全球最大的市場，因為行業(yè)加大了對質(zhì)量檢驗的需求。

圖:MV攝像頭市場億8%的速度穩(wěn)定成長圖片來源:onsemi

圖形傳感器作為機(jī)器視覺部分核心部件，在多個市場穩(wěn)步成長。根據(jù)Yole Development的統(tǒng)計，機(jī)器視覺攝像頭的市場容量到2023年將超過40億美元。其中零售、物流和工業(yè)位居主導(dǎo)地位，而隨著越來越多新興應(yīng)用的但是，機(jī)器視覺在新生市場的成長也非常可觀。

現(xiàn)在，機(jī)器視覺在汽車、零售、物流、工業(yè)機(jī)器人以及科學(xué)研究等領(lǐng)域發(fā)揮著日益重要的作用。

零售企業(yè)縮短向在線商務(wù)的過渡時間

線上購物在2020年取得了巨大的飛躍，推動了電子商務(wù)的增長。2020年成為了電子商務(wù)的拐點，有關(guān)機(jī)構(gòu)預(yù)計它將占全球連鎖零售總額的28％。反過來，這又縮短了向在線商務(wù)過渡的時間，拉快了近三年，迫使零售商必須迅速做出調(diào)整，簡化其商店、配送中心和物流工作流程，以提高生產(chǎn)效率。零售商在電子商務(wù)訂單履行相關(guān)的盈利能力方面面臨著挑戰(zhàn)。

圖:amazon的未來超市概念

機(jī)器視覺能夠提供與人類能力相匹敵的識別能力，簡化銷售點的結(jié)帳工作。

在amazon描述的未來超市中，消費(fèi)不必將采購的東西裝進(jìn)購物車，推到收銀臺進(jìn)行結(jié)賬，直接放進(jìn)包里面就可以。商家透過頂部的機(jī)器視覺系統(tǒng)，自動識別貨物，完成記賬扣款過程。類似的應(yīng)用還有在中國一些地區(qū)開始試點的無人超市。

越來越多企業(yè)加大了對智能自動化的投入，包括機(jī)器視覺技術(shù)和人工智能（AI），以及機(jī)器學(xué)習(xí)（ML）和規(guī)范性分析解決方案。零售自動化（從商店到倉儲運(yùn)營和配送中心的整個供應(yīng)鏈）的加速發(fā)展，背后的驅(qū)動力就是直接交付至消費(fèi)者的需求，且按需交付方式的需求日益增長，使包裹運(yùn)輸公司在傳統(tǒng)非高峰時段依然處于高峰運(yùn)營狀態(tài)。

機(jī)器視覺為精準(zhǔn)農(nóng)業(yè)提供保障

在農(nóng)業(yè)應(yīng)用中，機(jī)器視覺參與了土地的耕種收割、自動擠奶以及農(nóng)田的光譜跟蹤，為現(xiàn)代農(nóng)業(yè)提升產(chǎn)能提供了可靠保障。

在英國，希爾索農(nóng)機(jī)研究所研制出了一款高速采摘蘑菇機(jī)器人，它通過機(jī)器視覺來識別蘑菇的數(shù)量和質(zhì)量，用紅外線測距儀測定蘑菇的高度，再由真空吸柄根據(jù)計算得出的具體情況確定需要彎曲和扭轉(zhuǎn)的力度，自動完成蘑菇采摘。

在日本，農(nóng)場利用TensorFlow建立了自動分揀存儲系統(tǒng)，可以自動分揀和存儲黃瓜。

圖:借助機(jī)器視覺分揀水果圖片來源:onsemi

借助NVIDIA的GPU，制造商E-Con Systmes的智能分揀系統(tǒng)，TensorRT 版本的MobileNetV2 在6個類別（蘋果、橙子、香蕉）訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN) ，對新鮮水果的識別度已經(jīng)達(dá)到97%。

此外，機(jī)器視覺已介入育種、施肥等多個農(nóng)作物生長環(huán)節(jié)，為精準(zhǔn)農(nóng)業(yè)和高度自動化的農(nóng)業(yè)生產(chǎn)提供技術(shù)保障。

機(jī)器視覺在工業(yè)領(lǐng)域進(jìn)一步升級

機(jī)器視覺擅長檢驗分析和異常檢測技術(shù)，這種技術(shù)可以準(zhǔn)確驗證制造產(chǎn)品的質(zhì)量和一致性，并具有高度可重復(fù)性，因而在工業(yè)中得到廣泛使用。

圖:各種生產(chǎn)在線的機(jī)器視覺應(yīng)用圖片來源：cognex.com

機(jī)器視覺正在變得更具成本效益，能夠覆蓋更多任務(wù)業(yè)領(lǐng)域，同時添加了增強(qiáng)功能，例如針對更復(fù)雜的應(yīng)用程序檢驗的實時3D圖像處理，物體自動識別、數(shù)據(jù)捕獲（AIDC）、體積和距離測量、運(yùn)動分析、智能運(yùn)輸系統(tǒng)以及文檔掃描（物流碼管理）等眾多技術(shù)和應(yīng)用。

借助大量機(jī)器視覺新技術(shù)，制造業(yè)快速向自動化、智能化轉(zhuǎn)型升級，“黑燈工廠”變得越來越多。比如，生產(chǎn)小米手機(jī)的智能無人工廠，所有工作均由機(jī)器人完成，從生產(chǎn)管理、機(jī)械加工到包裝儲運(yùn)實現(xiàn)了全程自動化、無人黑燈生產(chǎn)。在無人化工廠的車間里，由工業(yè)移動機(jī)器人—— 自動導(dǎo)引車（AGV）完成搬運(yùn)和上下料等工作。它可以按照設(shè)置好的導(dǎo)引路徑來行駛，按照路線往返于材料存放地和目的地之間，自動進(jìn)行物料運(yùn)輸。機(jī)器人手臂可以完成上下料以及各種精細(xì)操作，同時質(zhì)量檢測也由機(jī)器視覺系統(tǒng)來完成，整個過程無需人工參與。

圖:安富利設(shè)計的自動導(dǎo)引車（AGV）圖片來源: 安富利

圖:針對PCB板的缺陷檢測圖片來源:Keyence.com

在工業(yè)制造里，勞動生產(chǎn)率是降低成本的主要因素，在固定單位時間內(nèi)所能檢測的線路板面積越大，生產(chǎn)效率就會越高。相對圖像傳感器來講，單位時間內(nèi)收集信息量越大，生產(chǎn)效率就越高。

圖:移動設(shè)備屏幕檢測圖片來源:onsemi

手機(jī)平板計算機(jī)在制造過程中需要對屏幕質(zhì)量進(jìn)行檢測，平板檢測是機(jī)器視覺行業(yè)中，對圖像傳感器最有挑戰(zhàn)性的應(yīng)用。移動設(shè)備的屏幕分辨率越來越高，從1K、2K、4K一直到8K，屏幕像素在逐漸增高。檢測過程為兩項：首先是暗檢測，上電前主要檢測一些指紋、劃痕和其他物理問題；然后是上電以后的檢測，特別是在OLED，加上最新的AMOLED（Active Matrix OLED）。LED是有一個亮板在后面作為發(fā)光源，而OLED，特別是AMOLED，它的每個像素都是一個單獨(dú)發(fā)光源。像素和像素之間發(fā)光的強(qiáng)度和色彩的均勻度都要能夠很準(zhǔn)確地偵測出來，這就對機(jī)器視覺的圖像傳感器提出了非常高的要求。過去檢測LED面板上的1顆像素，對應(yīng)需要9顆像素（3×3），OLED則對應(yīng)需要16顆（4×4），甚至25顆（5×5）像素。如今的圖像傳感器已經(jīng)超過了2億像素。

機(jī)器視覺在疫情中發(fā)揮巨大作用

在COVID-19疫情阻擊戰(zhàn)中，從工業(yè)制造到日常生活，機(jī)器視覺技術(shù)被大量使用，在多個領(lǐng)域發(fā)揮作用。

智慧工業(yè)：高度自動化的防護(hù)用品生產(chǎn)

在生產(chǎn)防護(hù)用品時，透過機(jī)器視覺技術(shù)實現(xiàn)引導(dǎo)、定位、識別、檢測自動化生產(chǎn)流程。比如在生產(chǎn)口罩時，利用機(jī)器視覺在線檢測系統(tǒng)準(zhǔn)確快速對口罩潔凈、耳帶長度/偏位、鼻梁條長度/偏位、印刷質(zhì)量等進(jìn)行檢測，保證產(chǎn)品良品率及提升生產(chǎn)效率。

智能物流：物資智能分揀與配送

現(xiàn)代物流體系在不同地區(qū)實施隔離措施時發(fā)揮了重要作用，與器視覺技術(shù)提供的自動化、智能化分揀系統(tǒng)，讓物流行業(yè)前所未有地高效且安全。機(jī)器視覺系統(tǒng)條形碼讀取、尺寸檢測、形狀識別等，來實現(xiàn)對產(chǎn)品的識別追蹤以及物料的篩選，并最終實現(xiàn)全程非接觸方式配送至消費(fèi)者手中。

圖:物流機(jī)器人送貨上門圖片來源 :amazon.com

在醫(yī)院和疫區(qū)，集成無人駕駛技術(shù)的AI機(jī)器人，其能夠自動識別躲避人員或障礙物，進(jìn)行醫(yī)療物資配送，還可以實現(xiàn)體溫測量、消毒、回收醫(yī)療垃圾等工作。

在疫苗供應(yīng)鏈中，物理自動化、RFID和溫度傳感技術(shù)，再加上機(jī)器人技術(shù)的發(fā)展（包括與人交互和協(xié)作的協(xié)作型機(jī)器人），能夠幫助完善疫苗的分發(fā)管理。比如在疫苗運(yùn)輸中，集成溫度智能解決方案（例如斑馬技術(shù)的Heatmarker和Freezemarker）能夠顯示疫苗或藥物是否已暴露在可能影響其功效或安全性的潛在危險條件下。

智慧測溫與人臉識別：非接觸式多目標(biāo)體溫監(jiān)測

體溫檢測成為疫情初篩的基本手段，在購物、旅游、交通、辦公以及小區(qū)級防控中被廣泛使用。越來越多的地方使用了紅外成像測溫系統(tǒng)，在盡量避免降低通行效率的情況下對大面積人群實施溫度檢測。紅外成像測溫系統(tǒng)借助機(jī)器視覺、AI與紅外熱成像技術(shù)，能夠?qū)崿F(xiàn)遠(yuǎn)距離、非接觸式、多目標(biāo)同時進(jìn)行測溫。

圖:Rokid云鏡: 工作人員只需帶上隨時觀察到周圍人群的體溫狀況 (圖片來源:rokid.com)

汽車----全身內(nèi)外都是眼睛

圖:汽車的機(jī)器視覺系統(tǒng)越來越強(qiáng) 圖片來源:onsemi

汽車的智慧來自對周邊事物的感知和決策，因此汽車的智慧之路，也就是感知決策能力被不斷被強(qiáng)化的技術(shù)道路。目前典型的具有機(jī)器視覺的車輛只要擁有9個圖像傳感器，而下一代正在開發(fā)的圖像傳感器已經(jīng)超過12個，還有接近20個圖像傳感器的系統(tǒng)也處于研發(fā)階段。不僅如此，這些汽車同時配備有10個雷達(dá)，其中至少2個超聲波雷達(dá)，隨著成本的降低，激光雷達(dá)已經(jīng)在很多汽車中開始使用。

機(jī)器視覺在汽車應(yīng)用的發(fā)展中主要有三個方向：

?車外的人工視覺輔助：包括環(huán)視、后視，供駕駛員觀看。在歐洲，一些大型卡車已經(jīng)開始應(yīng)用電子后視鏡系統(tǒng)來取代傳統(tǒng)玻璃車鏡。由于歐洲市場法規(guī)規(guī)定，汽車一定要配備后視鏡。但是卡車后視鏡面積很大，造成較大的擋風(fēng)阻力，電子后視鏡系統(tǒng)，卡車的后視鏡面積就可以被改小，并由此節(jié)約5~10%的能源。

?車外機(jī)器視覺：包括ADAS、輔助駕駛、自動駕駛系統(tǒng)。比如在夜間，對向車道強(qiáng)光狀況下，肉眼很難發(fā)現(xiàn)路上的行人，這種情況往往會導(dǎo)致人傷事故。借助ADAS系統(tǒng)，機(jī)器視覺系統(tǒng)則可以較早發(fā)現(xiàn)情況，并提醒司機(jī)，避免悲劇發(fā)生。

圖:借助高動態(tài)能力的圖像傳感器觀察到暗處的行人圖片來源:onsemi

?艙內(nèi)機(jī)器視覺：除了駕駛員疲勞監(jiān)控，還有疾病檢測、情緒/生理檢測，安全氣囊精準(zhǔn)調(diào)整、人機(jī)互動（Human Machine Interaction）、虹膜識別(Iris Detection)和人臉識別等功能。人機(jī)互動，包括手勢識別功能，如調(diào)整艙內(nèi)溫度、聽廣播、打電話等都可以用手勢來操作。除了對駕駛員的監(jiān)控，還有對乘員的監(jiān)控，比如robot taxi（機(jī)器人出租車）的很多的功能都需要艙內(nèi)監(jiān)控，包括安全帶提醒、兒童在場檢測、物體檢測和寵物檢測等。這些都依賴汽車自身的機(jī)器視覺系統(tǒng)。

圖:疲勞駕駛和分心導(dǎo)致交通事故圖片來源：ST

圖:車內(nèi)機(jī)器視覺系統(tǒng) DMS和CMS 圖片來源：ST

圖:意法半導(dǎo)體的車內(nèi)人臉識別系統(tǒng) 圖片來源：ST

借助全局快門技術(shù)和圖像處理引擎，意法半導(dǎo)體成功將2D圖像引擎與NIR（近紅外）深度設(shè)別技術(shù)結(jié)合，實現(xiàn)了3D人臉識別的效果，并且可以有效控制DMS或CMS系統(tǒng)的成本。

當(dāng)今汽車的感知能力已經(jīng)超過了駕駛員！駕駛員的視線范圍一般只能覆蓋前方180度，加上眼睛余光，可能超過200度，而智慧化的汽車已經(jīng)具有360度感知能力；另外，駕駛員可能會有幾毫秒的精力分散情況，而智能感知系統(tǒng)可以全時候地跟蹤、檢測和計算，這些從來不“閉眼“的機(jī)器視覺功能，可有效降低交通事故的發(fā)生，為未來更為安全的出行提供技術(shù)支撐。

本月熱點 HOME

欄目熱點 HOME