AI 搶灘陣式2：訓練、推論還不夠，自主學習是下一步
仿效人腦決策！Intel Nervana NNP 開先河
仿效人腦決策！Intel Nervana NNP 開先河
如果說，物聯網是科技業界的＂下一件大事＂，那么，人工智能 (AI) 就是下一個產業巨浪——英特爾 (Intel) 如是說。不甘讓 GPU 獨領風騷，Intel 于 2016 年收購在 AI 圈小有名氣的 Nervana Systems 公司，順勢延攬該公司的聯合創辦人暨首席技術長 Amir Khosrowshahi 加入 Intel 人工智能產品事業群 (AIPG)、擔任副總裁暨技術長一職。Khosrowshahi 在神經網絡 (Neural Networks)、機器學習 (Machine Learning) 和深度學習 (Deep Learning)的專業知能廣受業界認同。
照片人物：Intel 人工智能產品事業群 (AIPG) 副總裁暨技術長 Amir Khosrowshahi
云服務大躍進，計算周期耗時長
Khosrowshahi 揭示：AI 正逐漸融入我們日常生活，在消費、保健、財務、零售、政府、能源、交通、產業……，全面激起千層浪；可預見的是，今后，＂資料洪流即將爆發＂！預估到 2020 年，每位網絡用戶、平均每天將產生 1.5 GB 的數據流量；每家智慧醫院將超過 3,000 GB；每輛自駕車上看 4,000 GB；而智能工廠更驚人，將超過 1,000,000 GB！為應對漫溢的數據并尋求計算突破及創新，屆時，從數據中心的大型主機、邊緣 (Edge) 基礎服務器到云平臺的 AI 計算周期 (Compute Cycles，應用程序之處理、執行的時間總和) 將遽增 12 倍！
Khosrowshahi 揭示：AI 正逐漸融入我們日常生活，在消費、保健、財務、零售、政府、能源、交通、產業……，全面激起千層浪；可預見的是，今后，＂資料洪流即將爆發＂！預估到 2020 年，每位網絡用戶、平均每天將產生 1.5 GB 的數據流量；每家智慧醫院將超過 3,000 GB；每輛自駕車上看 4,000 GB；而智能工廠更驚人，將超過 1,000,000 GB！為應對漫溢的數據并尋求計算突破及創新，屆時，從數據中心的大型主機、邊緣 (Edge) 基礎服務器到云平臺的 AI 計算周期 (Compute Cycles，應用程序之處理、執行的時間總和) 將遽增 12 倍！
Khosrowshahi 表示，目前 AI 運用還停留在描述、診斷型的初級操作，但用于預測、指示及認知的進階分析正在興起。深度學習 (Deep Learning) 只是核心起點，向外擴展至神經網絡和機器學習，才是最終應用取向。以人臉辨識為例，典型的機器學習只是以臉部 T 字部位為基準、定出若干重點函數，然后通過支持向量機 (Support Vector Machine, SVM)、隨機森林 (Random Forest)、原始貝氏機率 (Naïve Bayes) 演算，建立判定樹 (Decision Trees) 模型、進行邏輯回歸 (Logistic Regression) 分析，最終加以組合。
然而，結合神經網絡的＂深度學習＂可沒這么簡單！它須建置好幾個計算層，至少包括 6,000 萬個參數，以擷取數據找出特征、在抽象層萃取特性；期借助更多資料改善效能、提高表征再現能力 (Representational Power)。放眼未來 AI 與其他關鍵商務作業負載并行運作需求，Intel 將多年研發與并購成果統整成為＂Nervana＂平臺，企圖通吃 AI 從數據中心主機、邊緣 (edge) 設備到云服務的計算大餅。Khosrowshahi 強調，＂Nervana＂平臺擁有完整的軟件堆棧、友善的用戶接口及整套系統 (Turnkey System)，可縮短開發周期并做個別加速。
表：＂Nervana＂平臺之產品組合
|
產品 |
說明 |
|
Xeon |
可擴充之計算處理器。方便為 AI 日后更高的工作負載預留升級空間，并針對最密集的深度學習訓練 (training) 工作，推出名為＂Lake Crest＂的專屬芯片。 |
|
Mobileye |
專為自駕車設計的視覺技術。 |
|
FPGA |
用以執行深度學習推論 (inference) 的可編程加速器。 |
|
Movidius |
低功耗視覺技術，讓機器學習得以在多樣化的終端設備執行。 |
數據源：Intel 提供，編輯部整理
揮別 Cache！Nervana NNP 用軟件管理片上記憶
Intel 與 NASA Frontier Development Lab 合作，運用 Nervana 深度學習技術協助描繪月球地圖，以及包括太空天氣、太空資源和行星防御等多項太空任務研究；而新近發布的 Nervana 類神經網絡處理器 (Neural Network Processor, NNP)，則是業界首款專為類神經網絡 (Neural Network) 所設計的芯片，將于今年底前出貨。NNP 的設計靈感源自人腦，訓練電腦根據模式 (pattern) 與關聯性 (association) 做決策。Intel 已著手研發不同世代的 NNP 產品，期于 2020 年達成將 AI 效能提高百倍的目標。
Nervana NNP 之所以令人矚目，是因為它繞過標準高速緩存 (Cache)，改用軟件管理片上內存，以極大化每個硅片的計算利用率！單一芯片上的神經網絡計算主要受限于電源和內存帶寬，Nervana NNP 特有高速芯片互連設計，可提高吞吐量、大量雙向傳輸數據，讓多個芯片上的神經網絡參數模型使出渾身解數做并行計算。此外，Intel 還獨家新創名為＂Flexpoint＂的數字格式，允許將標量計算 (scalar computations) 導入定點加乘，擴大共享指數的動態范圍；受惠于電路縮小，不僅大幅提高芯片的并行能力，也降低每次計算的必要功率。
圖1：Intel Nervana 類神經網絡處理器 (NNP)
數據源：Intel 提供
與此同時，Intel 還展開自主學習 (self-learning) 的類神經型態測試芯片，不必經過＂訓練＂就能執行復雜的感知作業，例如：解讀心律、偵測異常網絡。臺灣分公司企業解決方案事業群協理鄭智成補充，＂Nervana＂平臺的意義在于將 Intel 所有 AI 產品集結整合，包括先前推出的＂Crest＂系列特定應用集成電路 (ASIC) 芯片——可直接內建在服務器的電路板或做成插槽板卡，但當下只供高階服務器產品使用，預計明年才會普及至所有服務器產品。他指出，云服務供貨商可借 ASIC 優勢加速 AI 運作速度，神乎其技地縮減 AI 訓練或推論時間。
照片人物：Intel 臺灣分公司企業解決方案事業群協理鄭智成
AI 最強研發能量，在學界！
鄭智成聲明，對比歷史悠久、已有多種應用、同樣可作為加速器的 FPGA，多以開發板形式供貨，兩者角色并不沖突。他另提到，AI 其實早在五、六十年前就已出現，近來的百花齊放若用＂AI 復興＂形容也不為過，幕后最大動力就是＂類神經網絡＂的長足進展；以人臉、對象辨識的正確率為例，2012 年之前，要超過八成極其困難，但現已普遍來到 95% 以上的水平。遺憾的是，上一波 AI 熱潮并沒有太多實質產出，以致企業對相關投資興趣缺缺；倒是在學術界持續努力下，迄今已蘊藏可觀的研發人才及能量。
鄭智成聲明，對比歷史悠久、已有多種應用、同樣可作為加速器的 FPGA，多以開發板形式供貨，兩者角色并不沖突。他另提到，AI 其實早在五、六十年前就已出現，近來的百花齊放若用＂AI 復興＂形容也不為過，幕后最大動力就是＂類神經網絡＂的長足進展；以人臉、對象辨識的正確率為例，2012 年之前，要超過八成極其困難，但現已普遍來到 95% 以上的水平。遺憾的是，上一波 AI 熱潮并沒有太多實質產出，以致企業對相關投資興趣缺缺；倒是在學術界持續努力下，迄今已蘊藏可觀的研發人才及能量。
鄭智成透露，中國大陸曾對全球大學在 AI 的發展狀況做統計，發現全亞洲只有臺灣、日本及新加坡三地的大學有參與 AI 盛宴。＂臺灣有很多優秀師生團隊在海外 AI 競賽皆奪冠，顯示臺灣在 AI 有很好的實力；但若不能善用硬件資源、將系統優化，恐虛擲許多光陰在模型訓練及修改上。有時單是訓練一個模型就得十多天，調整參數又須耗上好幾十天＂，他感嘆說。有鑒于此，Intel 特別為大學院校師生制訂一套方案，在日前 Intel AI Day 活動中，宣布將在臺灣引進專為學術研究而設立的＂Intel Nervana AI 學院計劃＂。
Intel 與 Coursera 教育機構合作開設 AI 在線課程，包括訓練、實作演練工作坊；除了獨家提供可遠程訪問的工具及資源，并敦請專家指導。Intel 先前與子宮頸癌研究單位 MobileODT 及數據分析平臺 Kaggle 合作，舉辦子宮頸癌篩檢研究競賽項目，亦是結合 Nervana AI 學院資源的具體展現。為強化支持開放 AI 產業體系，Intel 特推出一系列開發工具以增進易用性與跨平臺兼容性，支持多種開源深度學習框架。Intel Nervana DevCloud 計劃可讓 AI 開發者存取云資源。
圖2：Intel 支援多種 AI 開源深度學習框架
數據源：Intel 提供
縱向＋橫向擴展，讓計算發揮最大效益
鄭智成以 GitHub 上最活躍的兩大主流框架——Caffe 和 Google TensorFlow 為例，由 Intel 發行、維護的 Caffe 版本的價值在于：通過系統優化手段，實現單一節點的縱向擴展 (Scale-up) 及多節點的橫向擴展 (Scale- out)，可提升數十到數百倍效能。例如，以 128 核服務器完勝雙核、四核的 Notebook / PC，或善用電腦集群 (Cluster) 技術擴增節點數，讓原需費時三天的計算工作壓縮至一小時內完成；＂就算整個數據中心只有一臺服務器，也能運用大型叢集加速工作時程＂。至于Google TensorFlow，由于其授權模式類似 Android，故由 Google 全權維護。
鄭智成以 GitHub 上最活躍的兩大主流框架——Caffe 和 Google TensorFlow 為例，由 Intel 發行、維護的 Caffe 版本的價值在于：通過系統優化手段，實現單一節點的縱向擴展 (Scale-up) 及多節點的橫向擴展 (Scale- out)，可提升數十到數百倍效能。例如，以 128 核服務器完勝雙核、四核的 Notebook / PC，或善用電腦集群 (Cluster) 技術擴增節點數，讓原需費時三天的計算工作壓縮至一小時內完成；＂就算整個數據中心只有一臺服務器，也能運用大型叢集加速工作時程＂。至于Google TensorFlow，由于其授權模式類似 Android，故由 Google 全權維護。
即使如此，Intel 自 TensorFlow 1.1 版后仍積極參與優化 (最新版本為 1.3)，并將程序代碼貢獻出來，讓開發者能最大限度利用硬件資源。另在軟件開發工具包 (SDK) 方面也不馬虎，例如，內建 Movidius Myriad 2 VPU 的神經計算棒 (NCS) 有兩個版本：一是搭載訓練完成的 Caffe 演算模型 (售價 79 美元)，一是新近發布支持 TensorFlow 的版本 (售價 99 美元)。那么，不同應用對于軟、硬件架構是否有不同要求？鄭智成的回答是，AI 實際應用層面還是源于用戶創意，主要區別在軟件算法，硬件層級并無差異，而用于訓練或推論也僅差在資料量大小。
圖3：Movidius 神經計算棒 (NCS) 已于今年 10 月發布支持 TensorFlow 框架的 SDK，如黃色框線所示
數據源：https://developer.movidius.com/
例如，用訓練芯片做推論、一個大芯片只做單一信道的辨識，似乎不太有效率。因此，Intel 現階段意在為開發者提供通用框架 (general- purpose framework)、讓設備／服務供貨商得以基于自身需求優化，并未針對特定 AI 應用再細分不同架構。不過他亦沒把話說死，表示日后若有市場需要，Intel 也不排除為影像、語音等分眾應用推出專用芯片。鄭智成認為，以往軟件算法需時數天的計算，經由 AI 硬件加速器可能只要數小時就搞定，預料 FPGA、終端設備或網關 (Gateway) 將因而蓬勃發展，數據中心并非 AI 唯一市場。
例如，微軟就采用 Intel Stratix 10 FPGA 作為其深度學習加速平臺 (Project Brainwave) 的硬件加速器，強化云環境的＂AI 實時計算效能＂，因應智慧手機人臉、語音識別或自駕車所需。另成本高昂的無人機，可運用 AI 對象辨識避免與樹木或障礙物碰撞、墜毀，甚至會認主人，只要比個手勢就能拍照或讓它自動降落在手上，都是有趣的 AI 終端應用。
