有了好視力 (傳感器) 與好腦力 (處理器)，如何讓兩者順暢互連也是一門學(xué)問；于是，物理層接口也成了關(guān)注焦點(diǎn)。微芯科技 (Microchip) 表示，在 12.5Gbps CoaXPress (CXP)? 2.0 接口標(biāo)準(zhǔn)獲得批準(zhǔn)前，＂影像擷取＂已然對(duì)機(jī)器視覺的數(shù)據(jù)傳輸形成障礙。為此，Microchip 與日本工業(yè)成像協(xié)會(huì) (JIIA) 等標(biāo)準(zhǔn)組織以及主要客戶合作，結(jié)合 CXP 優(yōu)化旗下產(chǎn)品打造低延遲、低功耗的傳輸方案，將均衡器、電纜驅(qū)動(dòng)器和頻率數(shù)據(jù)恢復(fù) (CDR) 整合到單一芯片，使相機(jī)和擷取卡制造商能通過單一同軸電纜提供高速、高分辨率視頻和控制信號(hào)，同時(shí)供應(yīng)電源。
Microchip：CXP 2.0 物理層接口加速影像擷取速度
Microchip 推出首款 CoaXPress (CXP) 2.0 單芯片物理層接口組件——EQCO125X40，能加快機(jī)器視覺的影像擷取速度并簡化系統(tǒng)設(shè)計(jì)和部署，進(jìn)而加速工廠大批量生產(chǎn)線的產(chǎn)品流量，如：裝瓶作業(yè)、食品檢測(cè)、工業(yè)檢測(cè)和成像應(yīng)用，且有助于交通／安防監(jiān)控、醫(yī)療檢測(cè)系統(tǒng)的嵌入式視覺。最重要的是，其全新向后兼容設(shè)計(jì)，在＂所有速度級(jí)別＂上都整合了頻率數(shù)據(jù)恢復(fù)和相機(jī)側(cè)頻率 (camera-side clock)，可支持實(shí)際環(huán)境需求。這些組件使相機(jī)和擷取卡的傳輸速度比其他解決方案快 4～8 倍，顯著提高機(jī)器視覺處理的吞吐量。
圖1：EQCO125X40 能加快機(jī)器視覺的影像擷取速度并簡化系統(tǒng)設(shè)計(jì)和部署，進(jìn)而加速工廠大批量生產(chǎn)線的產(chǎn)品流量
資料來源：Microchip提供
CXP 組件還能以更低功率和近乎零延遲支持四倍電纜／鏈路的距離，制造商可將其作為＂電纜中繼器＂使用，進(jìn)一步擴(kuò)大相機(jī)之間的連接距離。新產(chǎn)品支持以任何速度無縫鎖定從 CXP-1 到 CXP-12 的所有頻率，提高設(shè)計(jì)容差和靈活性，并通過單一電纜支持 12.5Gbps 帶寬，不需再依賴多通道傳輸；＂以二抵四＂，制造商能從相機(jī)和圖幀擷取器的兩個(gè)埠，獲得與以前四個(gè)埠相同的輸輸量；在系統(tǒng)成本不變下，滿足市場對(duì)數(shù)據(jù)輸輸量翻倍的需求。另更廣泛的布線選項(xiàng)確保系統(tǒng)可安裝在需要的地方，整合的 CDR 則改善從相機(jī)發(fā)送到擷取卡的信號(hào)防抖性能。
它們可用于在相機(jī)端檢索實(shí)時(shí)低頻頻率，提供更精確的信號(hào)時(shí)序，并帶有＂低頻頻率恢復(fù)功能＂，無需再設(shè)計(jì)一個(gè)現(xiàn)場可編程邏輯門陣列 (FPGA) 的獨(dú)立頻率，另有四大特色：
? 可進(jìn)行默認(rèn)置和實(shí)時(shí)電纜鏈路質(zhì)量測(cè)試，在系統(tǒng)運(yùn)行前和運(yùn)行期間實(shí)時(shí)檢查電纜鏈路的完整性；
? 電纜容許度 (margin) 測(cè)試，可在正常運(yùn)行出現(xiàn)任何位錯(cuò)誤之前檢測(cè)到老化或磨損的電纜；
? ＂均衡器＂功能，可輕松滿足 CXP 回波損耗規(guī)格；
? 用戶可選擇通過多條電纜擴(kuò)展至 50Gbps。
Microchip CoaXPress 2.0 系列涵蓋一個(gè)純發(fā)射器相機(jī)端組件和三個(gè)單芯片收發(fā)器選件，每款組件均采用 16 接腳四扁平無引線封裝，與 Microchip 的 CoaXPress 1.1 系列組件完全向后兼容，評(píng)估板可作為客戶的開發(fā)輔助工具。
圖2：EQCO125X40 架構(gòu)
資料來源：Microchip提供
Lattice：FPGA 平行處理能力提升特定工作負(fù)載效率
5G 互連性、云端分析、工廠自動(dòng)化和智慧家居等技術(shù)趨勢(shì)正在推動(dòng)機(jī)器學(xué)習(xí)對(duì)于嵌入式視覺的需求；于是，有平行處理能力、可大幅提升數(shù)據(jù)推理等特定處理工作負(fù)載效率的 FPGA，亦成備選方案。然有鑒于許多系統(tǒng)都使用多個(gè)影像傳感器、屏幕和攝影鏡頭，且網(wǎng)絡(luò)終端設(shè)備往往受限于嚴(yán)格的尺寸和功耗，萊迪思半導(dǎo)體 (Lattice) 在通用 FPGA 之外，特別基于 28nm FD-SOI 工藝＂Nexus 平臺(tái)＂推出嵌入式視覺優(yōu)化的 FPGA——CrossLink-NX，號(hào)稱功耗較同類產(chǎn)品低 75%，且＂軟錯(cuò)誤率＂(Soft Error Rate, SER) 比同類型 FPGA 低 100 多倍。
這對(duì)于要求＂絕對(duì)＂安全可靠的關(guān)鍵應(yīng)用極具吸引力。CrossLink-NX 擁有強(qiáng)大的軟件和 IP 數(shù)據(jù)庫——含功能堆棧 Lattice mVision，并支持工業(yè)和汽車應(yīng)用所需的 MIPI D-PHY 接口，僅單顆組件即可快速、輕松地為工業(yè)和汽車用戶開發(fā)各類視頻信號(hào)橋接、聚合和拆分應(yīng)用。另一款聚焦 ASIC 和 ASSP 互連的 ECP5，亦獲低功耗視覺芯片廠安霸 (Ambarella) CVflow 單芯片 (SoC) 采用，實(shí)現(xiàn)各種嵌入式智能視覺應(yīng)用的 MIPI 橋接功能，包括：視頻安全性、先進(jìn)駕駛輔助系統(tǒng) (ADAS)、電子后視鏡、行車記錄儀、駕駛員／機(jī)艙監(jiān)控、自動(dòng)駕駛和機(jī)器人。
表：Lattice 在機(jī)器視覺的布局
|
|
|
|
視頻接口平臺(tái) (VIP) |
模塊化硬件開發(fā)板，支持嵌入式視覺應(yīng)用中常用的各種視頻和 I/O 接口 (MIPI、LVDS、DisplayPort、HDMI、USB 等)。VIP 開發(fā)板目前支持 CrossLink、ECP5 和基于 Lattice Nexus 技術(shù)平臺(tái)的CrossLink-NX FPGA |
|
完善 IP 庫 |
Lattice mVision 解決方案堆棧包括各類實(shí)時(shí)可用的 IP 核心，可用于連接 MIPI 和 LVDS 圖像傳感器、ISP 流水線、USB 或 GB Ethernet 等通用連接標(biāo)準(zhǔn)，以及 HDMI、DisplayPort、GigE Vision 等顯示標(biāo)準(zhǔn) |
|
友善的設(shè)計(jì)工具 |
Lattice Diamond 和 Lattice Radiant 兩款工具可自動(dòng)處理許多常見的設(shè)計(jì)任務(wù)，加速并簡化 FPGA 程序設(shè)計(jì) |
|
端到端的參考設(shè)計(jì) |
包括傳感器橋接、傳感器聚合和圖像處理 |
|
定制化設(shè)計(jì)服務(wù) |
設(shè)計(jì)服務(wù)合作伙伴網(wǎng)絡(luò)可滿足從開發(fā)單獨(dú)的功能設(shè)計(jì)模塊到提供一站式交鑰匙 (Turn-key) 解決方案等一系列客戶需求 |
數(shù)據(jù)源：Lattice；筆者整理
EDA 對(duì)于 AI 視覺處理功不可沒
順帶一提，電子設(shè)計(jì)自動(dòng)化 (EDA) 對(duì)于安霸 AI 視覺處理器的開發(fā)亦功不可沒：楷登電子 (Cadence)＂Clarity 3D 求解器＂助力完成電腦視覺 SoC 和 PCB 產(chǎn)品的仿真評(píng)估，Mentor 則幫忙達(dá)成系統(tǒng)內(nèi)測(cè)試要求。仿真結(jié)果顯示，在無確切的高速信號(hào)固態(tài)參考平面時(shí)，Clarity 3D 求解器可識(shí)別設(shè)計(jì)上的缺點(diǎn)并矯正散射參數(shù) (S-參數(shù)) 回應(yīng)；利用最先進(jìn)的分布式多進(jìn)程技術(shù)，有效處理設(shè)計(jì)復(fù)雜 3D 結(jié)構(gòu)時(shí)所會(huì)遭遇到的電磁挑戰(zhàn)，可縮短設(shè)計(jì)周期并實(shí)現(xiàn)更快、更精準(zhǔn)的 3D 分析，解決下一代 5nm AI 研發(fā)可能遭遇的難題。
此外，＂可測(cè)試性設(shè)計(jì)＂(DFT) 是集成電路 (IC) 設(shè)計(jì)的關(guān)鍵要素，對(duì)于鎖定安全關(guān)鍵型汽車應(yīng)用的先進(jìn) AI 組件來說更是如此。Mentor 具高度擴(kuò)展性的 Tessent 安全生態(tài)系統(tǒng)可提供一系列先進(jìn)的 IC 測(cè)試技術(shù)，包括專為自駕車 IC 設(shè)計(jì)質(zhì)量要求所打造的創(chuàng)新＂在線＂(in-line) 組件監(jiān)測(cè)——把嵌入式監(jiān)視器分布在每個(gè)半導(dǎo)體器件中，并通過共通的基礎(chǔ)架構(gòu)將其連接在一起，實(shí)現(xiàn)快速偵測(cè)并回報(bào)系統(tǒng)中任何位置的隨機(jī)故障，為設(shè)計(jì)提供靈活性，成功協(xié)助安霸的 CV22FS 和 CV2FS 汽車攝像頭 SoC 達(dá)陣 ISO26262 的車輛安全完整性等級(jí) (ASIL)。
CV22FS 和 CV2FS 采用的 Tessent 工具包括：
? LogicBIST 軟件：內(nèi)建自我測(cè)試 (built-in self-test)，可用來測(cè)試 IC 的數(shù)字邏輯組件，含奈米級(jí) SoC 設(shè)計(jì)的獨(dú)特功能，可降低測(cè)試成本、縮短產(chǎn)品上市時(shí)間，并大幅增進(jìn)測(cè)試質(zhì)量；
? MemoryBIST 平臺(tái)：具有全面的自動(dòng)化流程，可在緩存器傳遞語言 (RTL) 或門級(jí)提供設(shè)計(jì)規(guī)則檢查、測(cè)試計(jì)劃、整合和驗(yàn)證；
? MissionMode 產(chǎn)品：提供自動(dòng)化和芯片上 (on-chip) IP 的組合，可在車輛功能運(yùn)作期間的任何時(shí)間點(diǎn)對(duì)整體汽車電子系統(tǒng)中的半導(dǎo)體芯片進(jìn)行測(cè)試和診斷。
圖3：Tessent Automotive 參考流程描述了 Tessent Shell Flow 的實(shí)現(xiàn)方式，以滿足 ISO 26262 的質(zhì)量和可靠性要求，并提供制造和系統(tǒng)內(nèi)芯片測(cè)試與診斷能力
人眼 vs. 機(jī)器視覺存在差異，如何更上層樓？
德國最近一項(xiàng)研究發(fā)現(xiàn)：人眼 vs. 深度神經(jīng)網(wǎng)絡(luò) (DNN) 在處理視覺數(shù)據(jù)的差異涉及以下三個(gè)領(lǐng)域，突顯了現(xiàn)今 DNN 和人類視覺系統(tǒng)存在的問題——最常使用的架構(gòu)是卷積神經(jīng)網(wǎng)絡(luò) (CNN)。
●輪廓檢測(cè)
對(duì)于人類來說，一個(gè)封閉的輪廓 (closed contour) 在側(cè)面有許多開放輪廓，視覺上引人注目，但 DNN 可能需要進(jìn)行遠(yuǎn)程輪廓集成才有辦法做到，且更改線條的顏色和寬度會(huì)導(dǎo)致深度學(xué)習(xí)模型的準(zhǔn)確性突然下降——當(dāng)形狀大于特定尺寸時(shí)，模型幾乎無法檢測(cè)形狀；而當(dāng)呈現(xiàn)包含不同顏色和粗細(xì)的線條、且形狀大于訓(xùn)練集的圖像時(shí)，DNN (以 ResNet-50 模型實(shí)驗(yàn)) 亦難以應(yīng)對(duì)。另一方面，DNN 對(duì)于極其細(xì)微的＂對(duì)抗性擾動(dòng)＂非常敏感，這些變化是人眼無法察覺的＂噪聲＂，但會(huì)導(dǎo)致機(jī)器學(xué)習(xí)系統(tǒng)的行為中斷。
●視覺推理
基于＂合成視覺推理測(cè)試＂(SVRT)，讓 AI 回答目標(biāo)圖片中不同形狀之間的關(guān)系，包括相同任務(wù) (形狀相同) 和空間任務(wù) (較小形狀之于較大形狀的相對(duì)位置)，然后使用 ResNet-50 并測(cè)試其在不同大小訓(xùn)練數(shù)據(jù)集下的表現(xiàn)。結(jié)果顯示，對(duì)樣本進(jìn)行微調(diào)的預(yù)訓(xùn)練模型，在相同差異和空間任務(wù)上均表現(xiàn)良好，惟相同任務(wù)較空間推理任務(wù)需要更多的訓(xùn)練樣本；若減少訓(xùn)練示例的數(shù)量，不只會(huì)拖累 AI 性能下降，在相同任務(wù)中的降級(jí)速度更快。
●認(rèn)知差距
人類需看到一定數(shù)量的整體形狀和圖案才能識(shí)別圖像中的物體，不易辨識(shí)局部特寫視圖；但神經(jīng)網(wǎng)絡(luò)可發(fā)現(xiàn)肉眼無法察覺的微小特征，即使予以放大，這些特征仍可被檢測(cè)到。這意味著：惟有在完全相同的基礎(chǔ)上測(cè)試人和機(jī)器 (包括指令和程序) 并避免人為偏見，才能消弭認(rèn)知差距。可惜實(shí)務(wù)上，當(dāng)前許多用于衡量機(jī)器視覺系統(tǒng)準(zhǔn)確性的基準(zhǔn)，本身就存在誤導(dǎo)性；適當(dāng)?shù)姆治龉ぞ吆蛷V泛的交叉檢查——例如，網(wǎng)絡(luò)體系結(jié)構(gòu)的變化、實(shí)驗(yàn)程序的一致性、泛化測(cè)試、對(duì)抗性示例及受限的網(wǎng)絡(luò)測(cè)試等，將有助于合理化結(jié)果解釋，并將這種內(nèi)部偏見視為現(xiàn)實(shí)。
香港市場研究機(jī)構(gòu) MobiusTrend 日前發(fā)布一項(xiàng)報(bào)告更指出，隨著 AI 產(chǎn)業(yè)化的發(fā)展，業(yè)界對(duì)機(jī)器視覺的重要性已達(dá)成共識(shí)，視覺識(shí)別 (Visual Identity, VI) 應(yīng)用尤其最能突顯 AI 為產(chǎn)業(yè)升級(jí)的價(jià)值，占比 80%。然而，機(jī)器視覺仍有幾大待解問題：
1. 機(jī)器視覺為各行業(yè)提供主動(dòng)識(shí)別／主動(dòng)標(biāo)記的基本功能，但其價(jià)值尚不足以滿足行業(yè)深層需求，必須與更多傳感器、熱成像、太陽光電等技術(shù)環(huán)境深度集成；
2. 如今，機(jī)器視覺的硬件和軟件正處于快速發(fā)展階段，將行業(yè)需求與機(jī)器視覺相集成還需以技術(shù)發(fā)展趨勢(shì)為背景去更新產(chǎn)品和解決方案系統(tǒng)；
3. 機(jī)器視覺進(jìn)入行業(yè)后，須對(duì)特定垂直應(yīng)用進(jìn)行客制化。
顯見，機(jī)器視覺的實(shí)務(wù)應(yīng)用價(jià)值要再更上層樓，還有賴尋求多方技術(shù)合作；MobiusTrend 認(rèn)為，AI 全像攝影 (holography，又稱＂全息投影＂) 將成為機(jī)器視覺的關(guān)鍵技術(shù)之一，為場景應(yīng)用提供支持。
本月熱點(diǎn) HOME
欄目熱點(diǎn) HOME
- 業(yè)界資訊
是德科技 FieldFox 手持式分析儀配合 VDI 擴(kuò)頻模塊，實(shí)現(xiàn)毫米波分析功能 -
業(yè)界資訊
推進(jìn)ECU板對(duì)板連接，提升自動(dòng)駕駛水平
02-06 -
新品報(bào)到
阜博集團(tuán)發(fā)布DreamMaker新產(chǎn)品
03-28 -
業(yè)界資訊
香港生產(chǎn)力促進(jìn)局2021年「成就智上」年度主題
02-28 -
業(yè)界資訊
西門子收購 Dotmatics，將 AI 驅(qū)動(dòng)的工業(yè)軟件版圖擴(kuò)展至生命科學(xué)領(lǐng)域
04-06 -
業(yè)界資訊
西門子收購 Dotmatics，將 AI 驅(qū)動(dòng)的工業(yè)軟件版圖擴(kuò)展至生命科學(xué)領(lǐng)域
04-06