網絡通訊的躍進、智能裝置的普及與 Covid-19 疫情的催化，已然加速「萬物聯網」時代的來臨！然而，當數據量越來越多，自然也面臨到帶寬、延遲、資安、隱私等考驗。為提升傳輸和處理效率、也為賦予實時洞察力及用戶「數字主權」，在眾多終端裝置與云端平臺之間，于本地增設「智慧邊緣」(AI Edge) 作為中繼站，正在取得使用者與供貨商共識。
從城市監控攝影機、工廠生產機臺或智能車采集而來的海量數據，若未經預處理或分析就全部上傳云端服務器，既浪費網絡資源，決策分析也容易有所延誤。加入 AI Edge 后，不僅能就近過濾、處理、分析，藉由預設條件先行撈出有用數據、避免「Garbage in, Garbage out」，以提升人工智能／機器學習 (AI/ML) 的效率、效能及可解釋性，數據安全和網絡安全 (Cybersecurity) 亦可多一層防護。
物聯網 (IoT) 相當講究垂直應用，為因應各式分眾市場所需，核心組件的擴展性與安全聯機機制已成拼場關鍵；而去年底剛出爐的 Matter 無線連接協議，因為架構是定義部署在設備和控制器上的應用層，不須依賴任何底層通訊技術便可擁有數字主權與一體成形的安全性的獨特優勢。因此，雖然是以智慧家庭為起點，有業者更看好 Matter 未來在智慧城市或工業領域的潛力。
工業物聯網 (IIoT) 對于資安的要求向來分外嚴謹，且工廠機臺設備往往形式多樣，統一聯機控管并非易事；Matter 從應用層的制高點切入，除了可望一舉突破生態系藩籬，解決原有遺留系統與新購設備不兼容的問題，更期能藉此落實聯機身份認證，建立多層防護網。
邊緣設備最常見的用途之一是：透過傳感器監控環境變量，而位于設備核心的微控制器／微處理器 (MPU／MCU) 功能也越見強大，上至硅智財 (IP)、下至整合模塊器件，無不積極搶食邊緣運算 (Edge Computing) 大餅，包括新興的 RISC-V 陣營亦志在必得。在智慧邊緣正邁入高速成長期的當口，究竟誰能勝出？強大的智慧運算能力與開發工具包，搭配靈活的可擴展性與資安措施，無疑將是重中之重。
「智慧邊緣」生意盎然！可擴展性＆資安控管成角力關鍵
邊緣運算 (Edge Computing) 正處于快速上升時期！就連云端服務商都不得不積極搶攻邊緣大餅。亞馬遜 (Amazon) 公開宣稱：前所未有的復雜性和數據規模已超過網絡能力，邊緣運算讓企業能更有效地收集和分析其原始數據，協助組織提高安全性和效能、自動化程序并改善用戶體驗。研調機構 ResearchAndMarkets 去年底發布報告指出，2030 年全球邊緣運算市值預估將從 2022 年的 101 億美元成長至 1,400 億美元，期間年復合成長率 (CAGR) 高達 38.8%，而物聯網 (IoT) 和連接設備的采用正在顯著影響市場。
圖1：2022～2030 年邊緣運算市值預估
提升速度、帶寬、安全，AI Edge 身懷實時洞察力
邊緣運算需求不斷增長的原因包括：人們對大數據分析的認識提高、智能設備和穿戴裝置數量增加以及電信行業支出不斷增加。研究顯示，依賴云端運算的公司正轉向邊緣運算，因為它具有較低的延遲和成本可行性，而大企業看中數據處理靠近源頭可提高決策能力，亦正向邊緣靠攏。自動駕駛和聯網汽車的需求不斷增長，亦增加了邊緣運算解決方案和服務的銷量——聯網汽車提供有關惡劣天氣和道路狀況的信息，協助駕駛員控制和導航。邊緣運算結合人工智能 (AI) 的「智慧邊緣」(AI Edge) 可有效減少事故發生是支撐市場的重要因素。
COVID-19 促使許多企業開始遠程營運、使帶寬連接需求大增，亦成為邊緣運算的成長動力，旨在提升速度、帶寬和安全并獲取準確、實時的洞察力。大型企業是主要推手，因為所產生大量分散的數據需要進行分析并轉移到其他業務中——物聯網和工業物聯網 (IIoT) 所產生的大數據需要連接廣域網，可望促進分眾市場的增長。例如，需要體積小、儲存容量大的硬件支撐，智能工廠與智慧城市皆為市場做出重大貢獻。在營運商網絡內部或邊界處，智慧邊緣通常具有以下強項：低延遲、高帶寬、設備處理、數據卸除以及可靠的資源運用。
Matter 無線連接協議：不只解決碎片化，資安準則更吸睛！
物聯網 (IoT) 普及的同時也放大了網絡安全 (Cybersecurity) 的沖擊性，各種通訊協議的資安措施更肩負第一線防護任務。去年底剛出爐的「Matter」無線連接標準，雖是以「簡化互操作性、打破智能家居應用藩籬、消除市場破碎化」為要求，卻也有業界專家是受到其安全聯機機制而吸引，包括：不允許匿名加入、每個裝置皆須經過認證才能聯機、入網后可供裝置在不同生態系運作、須經生態系廠商授予證書后才會傳送密鑰、開發者可在 GitHub 上檢查原始碼并修正錯誤，以及嚴格管控限制——由管理者批準「存取裝置列表」(Access Control List, ACL)。
圖2：Matter 建立在互聯網協議 (IP) 之上，以安全和隱私為主要設計原則，可為物聯網提供經驗證的設備身分以及安全的通訊和訪問控制
從「應用層」制高點實現身份認證＆數字主權
Matter 架構定義部署在設備和控制器上的應用層，并支持基于 IPv6 的網絡。它是一個智能家居開源標準項目，由亞馬遜 (Amazon)、蘋果 (Apple)、谷歌 (Google)、ZigBee 聯盟 (后更名為「連接標準聯盟」，CSA) 聯合發起，旨在開發、推廣一項免專利授權費用的新連接協議，以簡化智慧家居設備商的開發成本，并提高產品之間的兼容性；Matter 具有統一的設置流程，打破終端用戶跨廠商平臺的壁壘，讓不同的智能家居設備間，使用 IP 地址作為身份證、互相通訊，最終目的是讓那些功能各不相同的智能家居有統一的溝通語言，實現一定程度的自動化。
CSA 總裁兼首席執行長 Tobin Richardson 今年初援引世界經濟論壇一份名為《2023 年互聯世界狀況》報告指出，仍有超過 80% 受訪者對于物聯網的個人數據隱私的保護機制抱持存疑，超過 70% 受訪者對于物聯網的安全性沒有信心；而 Matter 這個基于 Zigbee 所發展出來的 IP 通用物聯網協議，在數字主權與一體成形的安全性擁有獨特優勢。有別于 Wi-Fi 或 Thread 等技術采用額外的網絡安全措施，Matter 不須依賴任何底層通訊技術便可在允許設備進入網絡前，進行身份認證、判斷是否為合法用戶。
在獲得半導體大廠和 Apple 等終端品牌廠的支持下，Matter 的出現可望打破碎片化市場，又能兼顧用戶的數字主權和數據安全性。盡管 Matter 可單獨存在，但它亦可與 Wi-Fi 實現無縫、可互操作的連接。Wi-Fi 設備上的 Matter 認證需要 Wi-Fi CERTIFIED，提供 WPA3 以確保個人和企業安全地交換信息；可用認證包括：Wi-Fi 6、低功耗 Wi-Fi HaLow，以及允許用戶用二維碼和其他低接觸式連接設備的 Wi-Fi Connect 等核心功能。SAE 公鑰 (SAE-PK) 為公網中使用 WPA3-Personal 的客戶端設備提供針對「邪惡雙胞胎」(Evil Twin) 攻擊的保護。
圖3：SAE-PK 憑證生成
圖4：SAE-PK 認證
AI Edge 核心誰作主？「智慧演算Ｘ開發工具包」見真章！
物聯網 (IoT) 已迅速普及日常生活，邊緣運算 (Edge Computing) 的重要性亦與日俱增。另一方面，研調機構 ResearchAndMarkets 指出，目前全球出貨的所有芯片組中有 85% 皆配備了 AI，到 2026 年，將有超過 63% 的電子產品將擁有某種形式的嵌入式智慧。瑞薩電子 (Renesas) 在新近發布的一篇文章中宣示：由物聯網、5G 連接和人工智能 (AI) 所構成的 AIoT 趨勢，正在推動收集、儲存、處理、分發、保護和驅動數據的方式發生轉變，以便將其轉化為可從中學習的可操作情報，而互聯「智能邊緣」(AI Edge) 將是大勢所趨。
圖5：智慧邊緣聯網演進
瑞薩電子：分布式邊緣運算看旺，工業物聯網動力足
瑞薩物聯網及基礎設施事業部執行副總裁兼總經理 Sailesh Chittipeddi 指出，2020～2022 年期間，其物聯網業務的年復合成長率 (CAGR) 大幅躍升了 79%，這與他們陸續收購 Intersil、IDT、Dialog Semiconductor 和 Celeno 等公司，集成傳感器、連接、驅動和電源管理四大能力而大幅提升嵌入式處理器的實力功不可沒；尤其，工業物聯網 (IIoT) 更是潛力無窮。在靠近邊緣設備的地方處理數據將產生新的系統價值，如：更低的延遲、增強的隱私。這種巨變需從集中式、基于云端的架構，轉向分布式、基于邊緣的設計。
Chittipeddi 表示，使用微型機器學習 (ML) 的微控制器 (MCU)／微處理器 (MPU) 節點來定義端點、加速數學模型并提高深度神經網絡 (DNN) 性能。當 IoT 端點節點的創建以每年 85% 的 CAGR 呈爆炸式增長時，長線將在預測性維護、快速缺陷檢測、生物特征識別和資產跟蹤等領域，開辟新的市場和收入來源。有鑒于此，瑞薩在 2022 年再并購以工業算法聞名的 Reality AI 公司，以結合先進訊號處理、數學建模與 AI，建構能在 16～24 位的嵌入式處理器上實施的機器學習模型。與此同時，亦投資 Syntiant 和 Arduino 等公司及贊助 Tiny ML Consortium，目前已在 AIOT 相關生態系統擁有 200 多個技術合作伙伴。
Microchip：資源受限的高負載運算，中檔密度 FPGA 是優選
擁有 MPLAB 開發生態系為強大奧援的微芯科技 (Microchip) 主張，智慧邊緣若考慮到在最低的功率和熱余量下、資源受限的環境中進行高負載運算，中檔密度 FPGA 將脫穎而出。Microchip 最新的視訊和圖像處理解決方案組合由「PolarFire」FPGA 視訊和成像套件提供支持。新套件使開發者能為利用 AI 和高分辨率成像的邊緣應用實現功耗最低、外形尺寸最小的智能嵌入式視覺系統，還可協助使用基于 RISC-V 的 PolarFire 系統單芯片 (SoC) 和 MATLAB/Simulink 進行 FPGA 硬件在環 (Hardware-in-the-loop, HIL) 模擬。
機器視覺、熱成像、視訊監控、機器人技術、邊緣機器學習推理和人機接口 (HMI) 皆仰賴低功耗的相機和顯示器，且須支持高速接口以及數據和設計安全性，進而保護 IP。FPGA 固有的并行處理和高速 I/O 功能，使其成為高分辨率成像和機器學習算法所需的高數據吞吐量的理想處理平臺。根據 Microchip 的說法，PolarFire SoC 和 PolarFire FPGA 的總功耗比競爭對手的中端 FPGA 低 30～50%、靜態功耗低五到十倍，使其成為「密集型邊緣」的理想方案，包括部署在熱和功率受限環境中的設備以及用于加速設計的工具。
PolarFire FPGA 亦可作為 Microchip 旗下 MCU／MPU 的加速器搭配使用。挾著強勢開發工具為后盾：MPLAB X 整合開發環境 (IDE)、MPLAB XC C 編譯程序、MPLAB Data Visualizer——此 MPLAB 插件可追蹤應用程序的運行時間并分析功耗，且可使用集成 ML 插件來捕獲數據并傳輸到合作伙伴平臺。加上 VectorBlox 加速器 SDK 相助，可對高能效 NN 進行編程；另附帶建構基于 PolarFire 視頻套件的 AI 相機平臺，可評估不同的卷積神經網絡 (CNN)。其軟件工具包允許使用 TensorFlow、Keras、Caffe 和 ONNX，以及 TinyML 和 TensorFlow Lite 的框架。
圖6：用于機器學習數據流的 Microchip 硅平臺
NXP：MCU 內建 NPU＆DSP，提高智能運算預測性
恩智浦半導體 (NXP) 的 MCX N系列，用于機械手臂、智能電梯、智能門鎖這類對智慧運算有更高預測性要求的高性能、低功耗微控制器，便已首次將 NPU 和 DSP 置入 MCU。N 系列中首先登場的是 MCX N94x 和 MCX N54x MCU系列，多核架構設計在提高系統性能的同時還兼顧降低功耗，可實現性能與功耗的完美平衡。MCX N94x 適合工業應用，具有更廣泛的模擬和電機控制外設，而 MCX N54x 則是聚焦消費和物聯網應用，集成帶 PHY 的高速 USB、SD 和智能卡界面等諸多外設。兩者皆基于高性能雙核 Arm Cortex-M33。
開發人員可使用這些內核和加速器的任意組合來完成具體任務，無需提高 MCU 的頻率速度或增加功耗。雙核架構允許并行運作應用程序或根據需要關閉單個內核以降低總功耗，例如，在物聯網設備的空中 (OTA) 更新期間，主要 M33 內核可處理系統安全，而第二個從核執行控制功能。MCX N 系列的發布，亦是恩智浦自主研發的 NPU 初次亮相，以實現邊緣的高性能和低功耗智能。與只使用 CPU 內核相比，內置 NPU 的 ML 吞吐量估可提高 30 倍，使 TinyML 在資源和功率受限的邊緣設備上展現超凡的運算力，以實現復雜的深度學習模型。
例如，為門禁控制添加人臉和語音識別功能、為家庭安全系統創建電池供電的玻璃破碎探測器、為電機控制預測維護開發振動傳感器、設計配備生物傳感器的智能穿戴裝置等。順帶一提，MCX N 系列 MCU 集成了 EdgeLock 安全子系統，可安全啟動不可變的信任根、實現硬件加速加密、主動和被動入侵檢測以及電壓和溫度篡改檢測，支持現場更新和在線傳輸，并可防止遠程原始設計制造商 (ODM) 過度生產。為更好地分析環境并實現本地智慧決策，恩智浦認為，先進的處理、機器學習能力并結合高速連接，是下波邊緣運算應用程序的關鍵要求。
ST：分布式邊緣運算勝在延遲、帶寬、數據主權、分析效率
選擇物聯網 MCU，還須考慮連接協議、開發工具包、資安機制與 AI／ML 等軟件支持。在 MCU／MPU 根基深厚的意法半導體 (ST) 算是很早投入智慧邊緣的先驅廠商之一，相關方案已完全集成到 STM32 生態系，傳感器數據由處于系統核心的高能效 STM32 MCU 和 MPU 處理。相關產品包括：
●通用型無線、超低功耗、主流和高性能 MCU；
●具有 AI 加速器的 GP MCU，針對帶有嵌入式神經處理單元的低功耗推論運算進行優化 (型號定為 STM32N6，預估今年上市)；
●適用于超低功耗應用、具有集成處理單元的 MEMS 傳感器；
●用于 OpenSTLinux 上啟用 AI 的雙核 MPU 系列。
絕大多數 STM32 開發板皆配備傳感器及連接到原型智能邊緣的應用程序，可用于開發嵌入式 AI 解決方案。例如，基于 STM32L4 MCU，可建立具有擴展傳感器和連接性物聯網節點的 STEVAL-STLKT01V1 SensorTile 開發工具包——配備 3D 加速度計和陀螺儀、磁力計、飛時測距 (ToF) 趨近傳感器、數字麥克風等微機電 (MEMS) 傳感器，以及藍牙 (Bluetooth)／近場通訊 (NFC)／Sub-GHz／Wi-Fi 等無線連接功能，適合音頻場景和活動識別應用。
另有適用于工業物聯網 (IIoT) 預測性維護和狀態監測應用之無線工業節點 (STEVAL-STWINKT1) 的 STWIN SensorTile；用于狀態監測的工業傳感器評估套件、專為溫度和振動監測設計的 STM32 STEVAL-PROTEUS 1 開發板；以及專為穿戴裝置或運動感測應用設計的 STM32L5 MCU 開發板。ST 重申，分布式邊緣運算可顯著降低傳輸延遲、所需帶寬和云端服務器的處理能力，且賦予用戶「數據主權」，將個人源數據經過預分析后再提供給具有更高級別解釋的服務商。
圖7：智能邊緣可提供更高效的端到端解決方案
STM32Cube.AI 新增預訓練 ANN＋遠程基準檢驗模型
ST 為旗下市占廣大的 STM32 MCU 開發映像和運行預訓練的人工神經網絡 (ANN)，面向 Edge AI 開發人員提供免費工具 STM32Cube.AI，以便部署符合坊間主流 AI 框架、經過訓練的神經網絡模型，可經由 STM32CubeMX 環境中的圖形接口和命令行使用，也可在 STM32Cube.AI Developer Cloud 在線取得。透過優化 AI 模型的主存儲器使用和推理時間，旨在打造最高效的 MCU 神經網絡免費代碼生成器。近日，ST 再推出「支持在線訪問」補充版本——MCU AI Developer Cloud，方便開發者對 STM32 板上的智能邊緣模型進行遠程基準檢驗。
開發者還能訪問「STM32 model zoo」可訓練的深度學習模型和演示儲存庫以加速應用程序開發，目前支持用例包括用于活動識別和跟蹤的人體運動感測、用于圖像分類或對象檢測的計算機視覺、用于音頻分類的音訊事件檢測等。它是預訓練 ML 的集合，可自動生成針對 STM32 優化的入門套件且可在 GitHub 使用。開發者可透過云端取得 STM32 電路板并定期更新，以便遠程測量優化模型的實際性能。STM32Cube.AI Developer Cloud 已經過多家嵌入式開發客戶的測試和評估，現可供 MyST 注冊用戶免費使用 (https://stm32ai-cs.st.com)。
為擴大開發工具的功能并加速嵌入式 AI／ML 開發項目，ST 還推出 NanoEdge AI Studio 及 STM32Cube.AI 的升級版本：前者適合不需開發 NN 的應用，須與 STM32 MCU 及內建 ST 的嵌入式智能傳感器處理單元 (ISPU) 的 MEMS 傳感器搭配使用；后者則是 STM32 人工智能模型優化器與編譯程序，適合 NN 研發，最新釋出的 7.3版本已被完全整合至 STM32 生態系，將預先訓練好的 NN 轉換成能在 STM32 Arm Cortex 內核心 32 位 MCU 上運行的 C 語言程序代碼；升級版還可根據性能需求和內存容量調整現有神經網絡，或平衡優化最佳效果。
圖8：STM32Cube.AI 在 STM32 系列 MCU 之對應
「智慧邊緣」點火下一波處理器／控制器競逐
繼整合無線連接功能之后，AI／ML 絕對是下個 MCU 致勝點。芯科科技 (Silicon Labs) 就借助完整的多協議 SoC 產品組合、廣泛的開發工具選擇及跨無線標準的廣泛專業知識，將 ML 引入任何應用程序。ML 開發工具依開發人員的經驗，由淺到深依序有 ML Solutions、ML Explorer和ML Experts 三種；考慮到缺乏 ML 經驗的開發人員，Silicon Labs 還與 Sensory 合作開發關鍵詞和喚醒詞應用程序，并與 Micro.ai 合作進行異常檢測。
此外，EFR32xG24 開發工具包允許開發人員在目標設備上加載和運行示例項目，該開發工具包運行使用 TensorFlow 引擎并具有集成 ML 模型的嵌入式應用程序。EFR32xG24 開發工具包 (xG24-DK2601B) 是一個緊湊、功能豐富的開發平臺，提供開發和原型無線物聯網產品的途徑；該開發平臺支持高達 +10 dBm 的輸出功率，包括對 20 位 ADC 的支持以及 xG24 的 AI／ML 硬件加速器等其他重點功能。上述所有軟件都將在此開發工具包上運行。
邊緣設備最常見的用途之一就是：透過傳感器監控環境變量，而位于設備核心的 MCU 功能也越見強大。現今的 MCU 多是以 SoC 方式呈現，內嵌一個或多個 MPU 以讀取數據并進行大量運算、儲存并呈現最終結果，當中每個內核都能獨立執行指令，可分別處理不同任務。基本上，多核系統由于執行指令快且內核可在不工作時中斷電源，功耗會顯著低于單處理器內核，因此當紅 MCU 幾乎皆采多核系統。
知名電子零件經銷商 Digi-Key 表示，多核心 MCU 常見配置有兩種：對稱 vs. 非對稱式。對稱式核心配置包含兩個或多個完全相同的處理核心，而非對稱式核心組合的方式相當多種，視應用及設計的需求而定。多核心 MCU 好處是能將應用分成多個執行域——不同執行域有助于精準控制應用的效能、功能和電力需求。(參閱：https://www.digikey.tw/zh/articles/why-and-how-to-get-started-with-multicore-microcontrollers)。
智慧邊緣設備方興未艾，執掌帥印的控制／處理核心，無疑是下個兵家必爭之地。
