Flex Logix 發布InferX? X1 8TOPS高性能，低功耗，低成本AI邊緣推理芯片
前言：
比現有解決方案高數倍的實際吞吐量，低數倍的功耗和成本
2019年4月10日--Flex Logix? Technologies, Inc. 今天宣布，其在擁有數個專利的業界領先的eFPGA互連技術上，結合專為AI推理運算而優化的nnMAXtm乘加器(MAC), 研發了 InferXtm X1邊緣推理芯片。今天在美國硅谷舉辦的Linley Processor Conference，Flex Logix介紹了 InferX X1芯片及其性能。作為一款針對于邊緣AI推理應用的芯片，InferX X1有著極高的 MAC 利用率以及出眾的能效比 — 只需要一顆x32的DRAM, 就可以達到8TOPS的算力。這在邊緣推理這種只需 low batch size 的應用場景中顯得極為重要。與現有的解決方案相比，InferX X1能以更低的功耗，更低的成本，提供更高的算力。
InferX X1可以支持語音，圖像，視頻等任何基于TensorFlow-Lite或ONNX的模型和算法，特別適用于大型的模型算法和實時識別。例如YOLOv3實時物體識別算法，InferX X1在batch=1的情況下，可以對1Megapixel圖像 達到25.4幀每秒(fps)的吞吐量。對2Megapixel高清圖像達到12.7幀每秒(fps)。而達到這樣的高吞吐量只需要用到一個x32的DRAM。
InferX 支持INT8，INT16，BF16并可以在不同的算法層混合使用，方便客戶根據自己的需求來優化吞吐量和算法精度。InferX還內置有Winograd變換來加速INT8計算卷積，芯片會自動對適用的矩陣乘法來實時轉換weights到Winograd模式，得到將近2.25倍的性能提升。由于InferX的Winograd是用12bits來計算的，所以精度不會有損失。
Flex Logix提供客戶完整的軟件開發環境。客戶可以直接將基于TensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler軟件來編譯。
Flex Logix將提供InferX X1芯片。芯片可以通過擴展口來連接數個芯片以增加算力。Flex Logix同時還會提供搭載InferX X1的半高半長PCIe卡給Edge Server和gateway客戶。
“設計邊緣神經網絡推理芯片的一個難題是如何降低大量的數據交換及降低功耗，而我們的可編程互連技術是接近完美的解決方案。”Flex Logix CEO Geoff Tate說。”在運算一層網絡的時候，我們利用可編程互連將InferX的MAC根據這一層網絡的dataflow來連接，等于是專為這一層運算配置了一個ASIC。同時對下一層網進行絡pre-load，以實現在這一層運算完后可以最快速地配置下一層。同樣的可編程互連也與片上的SRAM連接，將這一層的輸出，快速配置成下一層的輸入，從而避免了大量的數據交換。所以InferX只需要一顆x32 DRAM就夠了。這讓我們可以將芯片設計得更小，大大降低了功耗和成本。”
Geoff Tate還說, “我們還在芯片里加上了Winograd來加速INT8的運算，這讓客戶在選擇INT8時能得到更高的吞吐量。而同時我們也支持BF16，讓對精度更在意的客戶在需要時也能運用。客戶可以選擇根據自己的需求在不同的網絡層混合運用來到達高精度，高吞吐量。”
一個創新的可編程互連技術，兩個高速成長的產品線
Flex Logix在其擁有十余個專利的創新可編程互連技術上研發了EFLX eFPGA IP. Flex Logix已經成為eFPGA IP市場的領先者，已有包括大唐辰芯，美國波音，SiFive RISC-V等十余個客戶正在應用Flex Logix的eFPGA IP。
最新研發的nnMAX AI IP，即InferX芯片中使用的新推理架構，利用了同樣的可編程互連技術，并結合了專為AI推理而設計的乘加器（MAC）和存儲單元。這些乘加器能支持INT8, INT16, BF16等AI算法里常見的精度數字。每一顆nnMAX IP單元擁有1024個乘加器以及相應的SRAM，在16nm制程上可以提供2 TOPS的算力。nnmAX IP單元可以根據需求拼接成NxN的陣列，最大可以提供超過100 TOPS的算力。
Flex Logix在InferX X1芯片里集成了4個nnMAX IP單元，提供8 TOPS的算力。
時間表
InferX X1推理芯片計劃于Q3 2019流片，樣片和PCIe板可于年底提供。基于臺積電16nm的nnMAX IP將于Q3 2019提供授權給客戶用于集成到客戶自己的ASIC或SoC. 感興趣的客戶可以訪問 www.flex-logix.com 來獲得我們在 Linley Processor Conference發布的膠片，或聯系Flex Logix亞太區銷售jim@flex-logix以獲取更多信息。
About Flex Logix
Flex Logix公司成立于2014年3月，提供eFPGA IP核、架構、及配套軟件的解決方案，以及應用于AI推理的高性能解決方案。eFPGA與處理器相比，可以將關鍵工作負載的運行效率提高10至100倍，使芯片可快速應用于日新月異的算法、協議等，來滿足不同市場、不同用戶的應用需求。Flex Logix的第二個產品線，nnMAX AI推理加速器IP及InferX AI推理芯片，利用其eFPGA和互連技術，可以提供從1TOPS到 100 TOPS以上的，可擴展的神經網絡推理算力。nnMAX只需要市場上其他解決方案的DRAM帶寬的1/10，從而可極大降低系統功耗和成本。Flex Logix公司已獲得2500萬美金的風險投資，總部設在美國加州山景城，并在中國、歐洲、以色列、日本及臺灣設有銷售代理。更多信息，請訪問公司網站http://www.flex-logix.com 或在Twitter上關注我們@efpga。
Flex Logix公司成立于2014年3月，提供eFPGA IP核、架構、及配套軟件的解決方案，以及應用于AI推理的高性能解決方案。eFPGA與處理器相比，可以將關鍵工作負載的運行效率提高10至100倍，使芯片可快速應用于日新月異的算法、協議等，來滿足不同市場、不同用戶的應用需求。Flex Logix的第二個產品線，nnMAX AI推理加速器IP及InferX AI推理芯片，利用其eFPGA和互連技術，可以提供從1TOPS到 100 TOPS以上的，可擴展的神經網絡推理算力。nnMAX只需要市場上其他解決方案的DRAM帶寬的1/10，從而可極大降低系統功耗和成本。Flex Logix公司已獲得2500萬美金的風險投資，總部設在美國加州山景城，并在中國、歐洲、以色列、日本及臺灣設有銷售代理。更多信息，請訪問公司網站http://www.flex-logix.com 或在Twitter上關注我們@efpga。
