邊緣AI應(yīng)用正處于大規(guī)模落地的前夕，巨大的IoT市場(chǎng)和革命性的AI技術(shù)產(chǎn)生的劇烈交互將帶來(lái)前所未有的應(yīng)用革命和商業(yè)機(jī)會(huì)。那么在邊緣設(shè)備部署AI應(yīng)用的瓶頸都有哪些？
? 有人有現(xiàn)成的芯片和應(yīng)用場(chǎng)景，卻為缺乏算法和平臺(tái)苦惱。
? 有人有自己的算法，卻為缺乏一個(gè)好用的嵌入式跨平臺(tái)框架而苦惱。
? 有人有自己的算法和硬件平臺(tái)，卻為嵌入式平臺(tái)有限算力苦惱。
OPEN AI LAB看到了業(yè)界痛點(diǎn)，順應(yīng)市場(chǎng)需求推出了專為嵌入式平臺(tái)設(shè)計(jì)的AI推理框架——Tengine。
專門針對(duì)Arm嵌入式設(shè)備優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理引擎
OPEN AI LAB于2016年12月成立，由Arm中國(guó)聯(lián)合產(chǎn)業(yè)伙伴發(fā)起，致力于推動(dòng)芯片、硬件、算法、軟件整個(gè)產(chǎn)業(yè)鏈的深度合作，加速人工智能產(chǎn)業(yè)化應(yīng)用部署和應(yīng)用場(chǎng)景邊界拓展。Tengine便是一款輕量級(jí)模塊化高性能的神經(jīng)網(wǎng)絡(luò)推理引擎，專門針對(duì)Arm嵌入式設(shè)備優(yōu)化。完美支持Arm平臺(tái)，支持Arm Cortex CPU，Arm Mali GPU，Arm DLA，第三方DSP，堪稱兼容“全能王”。
OPEN AI LAB于2016年12月成立，由Arm中國(guó)聯(lián)合產(chǎn)業(yè)伙伴發(fā)起，致力于推動(dòng)芯片、硬件、算法、軟件整個(gè)產(chǎn)業(yè)鏈的深度合作，加速人工智能產(chǎn)業(yè)化應(yīng)用部署和應(yīng)用場(chǎng)景邊界拓展。Tengine便是一款輕量級(jí)模塊化高性能的神經(jīng)網(wǎng)絡(luò)推理引擎，專門針對(duì)Arm嵌入式設(shè)備優(yōu)化。完美支持Arm平臺(tái)，支持Arm Cortex CPU，Arm Mali GPU，Arm DLA，第三方DSP，堪稱兼容“全能王”。
而開發(fā)者可以使用Tengine一網(wǎng)打盡主流框架模型和嵌入式操作系統(tǒng)，還能異構(gòu)調(diào)度平臺(tái)里的各類硬件，充分利用硬件算力。此外，Tengine還提供了常見AI應(yīng)用算法，包括圖像檢測(cè)，人臉識(shí)別，語(yǔ)音識(shí)別等。不懂AI沒關(guān)系，上手就能跑AI應(yīng)用。Tengine同時(shí)還支持各類常見卷積神經(jīng)網(wǎng)絡(luò)，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支持層融合、8位量化等優(yōu)化策略。并且通過(guò)調(diào)用針對(duì)不同CPU微構(gòu)架優(yōu)化的HCL庫(kù)，將Arm CPU的性能充分挖掘出來(lái)。
Tengine的“發(fā)動(dòng)機(jī)”——HCL計(jì)算庫(kù)
有人說(shuō)NCNN是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，從設(shè)計(jì)之初深刻考慮手機(jī)端的部署和使用。在過(guò)去，NCNN確實(shí)是這樣的，只是那時(shí)候還沒有Tengine。
有人說(shuō)NCNN是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，從設(shè)計(jì)之初深刻考慮手機(jī)端的部署和使用。在過(guò)去，NCNN確實(shí)是這樣的，只是那時(shí)候還沒有Tengine。
現(xiàn)在，HCL計(jì)算庫(kù)作為Tengine的插件，是性能最快的Arm CPU NN計(jì)算庫(kù)，并且支持動(dòng)態(tài)8位量化計(jì)算，精度幾乎不變，相比于NCNN最快能帶來(lái)2-3倍的性能提升，內(nèi)存使用減少為三分之一。
*Tengine性能數(shù)據(jù)A72，A53性能基于RK3399平臺(tái)測(cè)試，A17性能基于RK3288平臺(tái)測(cè)試
NCNN數(shù)據(jù)為2018年9月7日
NCNN數(shù)據(jù)為2018年9月7日
HCL INT8量化計(jì)算精度變化
|
FP32 |
INT8 |
Diff |
||||
|
TOP1 |
TOP5 |
TOP1 |
TOP5 |
TOP1 |
TOP5 |
|
|
MobileNetv1 |
67.86% |
87.60% |
66.40% |
86.44% |
-1.46% |
-1.16% |
|
SqueezeNet |
57.86% |
79.86% |
57.80% |
79.92% |
-0.06% |
0.06% |
|
GoogLeNet |
68.48% |
88.82% |
68.70% |
88.82% |
0.22% |
0.00% |
|
ResNet50 |
71.60% |
89.90% |
71.60% |
89.86% |
0.00% |
-0.04% |
Tengine + HCL，不同人群的量身定制
Tengine作為AI 應(yīng)用框架，不僅對(duì)上層應(yīng)用提供推理API接口，支持主流模型與格式，還在下層定義硬件接口，適配嵌入式平臺(tái)各類計(jì)算模塊，此外支持同時(shí)運(yùn)行多個(gè)AI應(yīng)用算法以及調(diào)用多個(gè)計(jì)算模塊計(jì)算。因此，Tengine的面世對(duì)AI開源生態(tài)具有里程碑的意義。有了Tengine，應(yīng)用和算法廠商可以擺脫復(fù)雜的嵌入式平臺(tái)適配工作，配合HCL直接挖掘硬件的全部潛能；有了Tengine，芯片廠能夠站在Arm 嵌入式AI生態(tài)的肩膀上，以最快的速度順利將芯片推向市場(chǎng)，在邊緣AI應(yīng)用中部署。作為OPEN AI LAB為邊緣AI應(yīng)用部署開發(fā)的兩大利器，Tengine + HCL將助力嵌入式人工智能產(chǎn)業(yè)加速向前推進(jìn)，為最終實(shí)現(xiàn)萬(wàn)物智能貢獻(xiàn)力量。
Tengine作為AI 應(yīng)用框架，不僅對(duì)上層應(yīng)用提供推理API接口，支持主流模型與格式，還在下層定義硬件接口，適配嵌入式平臺(tái)各類計(jì)算模塊，此外支持同時(shí)運(yùn)行多個(gè)AI應(yīng)用算法以及調(diào)用多個(gè)計(jì)算模塊計(jì)算。因此，Tengine的面世對(duì)AI開源生態(tài)具有里程碑的意義。有了Tengine，應(yīng)用和算法廠商可以擺脫復(fù)雜的嵌入式平臺(tái)適配工作，配合HCL直接挖掘硬件的全部潛能；有了Tengine，芯片廠能夠站在Arm 嵌入式AI生態(tài)的肩膀上，以最快的速度順利將芯片推向市場(chǎng)，在邊緣AI應(yīng)用中部署。作為OPEN AI LAB為邊緣AI應(yīng)用部署開發(fā)的兩大利器，Tengine + HCL將助力嵌入式人工智能產(chǎn)業(yè)加速向前推進(jìn)，為最終實(shí)現(xiàn)萬(wàn)物智能貢獻(xiàn)力量。
本月熱點(diǎn) HOME
欄目熱點(diǎn) HOME
- 業(yè)界資訊
是德科技 FieldFox 手持式分析儀配合 VDI 擴(kuò)頻模塊，實(shí)現(xiàn)毫米波分析功能 -
業(yè)界資訊
推進(jìn)ECU板對(duì)板連接，提升自動(dòng)駕駛水平
02-06 -
新品報(bào)到
阜博集團(tuán)發(fā)布DreamMaker新產(chǎn)品
03-28 -
業(yè)界資訊
香港生產(chǎn)力促進(jìn)局2021年「成就智上」年度主題
02-28 -
業(yè)界資訊
西門子收購(gòu) Dotmatics，將 AI 驅(qū)動(dòng)的工業(yè)軟件版圖擴(kuò)展至生命科學(xué)領(lǐng)域
04-06 -
業(yè)界資訊
西門子收購(gòu) Dotmatics，將 AI 驅(qū)動(dòng)的工業(yè)軟件版圖擴(kuò)展至生命科學(xué)領(lǐng)域
04-06