當(dāng)前位置： CompoTech China > 業(yè)界資訊 >

研華邊緣AI平臺測試DeepSeek蒸餾版模型數(shù)據(jù)大公開！

本文作者：研華點(diǎn)擊： 2025-02-21 11:53

前言：

隨著Deepseek大模型的橫空出世，預(yù)計(jì)對整個(gè)工業(yè)領(lǐng)域會產(chǎn)生顛覆性的影響力，尤其針對邊緣部署部分獨(dú)創(chuàng)動(dòng)態(tài)剪枝與量化技術(shù)，DeepSeek大模型支持在邊緣設(shè)備低功耗運(yùn)行（最低適配5 TOPS算力硬件），推理速度提升3倍。

研華選擇了多款基于英偉達(dá)技術(shù)邊緣AI產(chǎn)品，針對目前DeepSeek-R1 系列的蒸餾模型，從1.5B~32B，進(jìn)行了對應(yīng)機(jī)型測試，下面讓我們來看下最新測試數(shù)據(jù)！

微型邊緣端推理應(yīng)用（算力100 TOPS）：

推薦型號：

基于ARM平臺AI Box：ICAM-540 /MIC-711 / MIC-713

支持DeepSeek-R1蒸餾模型版本：

? DeepSeek-R1-Distill-Qwen-1.5B

? DeepSeek-R1-Distill-Qwen-7B

? DeepSeek-R1-Distill-Llama-8B

測試型號：MIC-711

*同時(shí)在MIC-711-OX4A 開啟了Super Mode來跑同樣的模型, 在整體效能上有提升了

將近25%, 這也表示了 Jetson super mode在AI應(yīng)用上有明顯的效能增強(qiáng)。

邊緣端推理應(yīng)用（算力100-500 TOPS）

推薦型號：

基于ARM平臺Edge AI Box：MIC-732/MIC-733/736

基于X86平臺 Edge AI Box：MIC-770V3

Edge AI 服務(wù)器：HPC-6240/HPC-7420/SKY-602E3 （支持1-4張GPU卡）

支持DeepSeek-R1蒸餾模型版本：

? DeepSeek-R1-Distill-Qwen-1.5B

? DeepSeek-R1-Distill-Qwen-7B

? DeepSeek-R1-Distill-Qwen-14B

? DeepSeek-R1-Distill-Llama-8B

測試型號：MIC-770V3

*DeepSeek-R1:32b于此系統(tǒng)配置下使用約18GB VRAM，可正常運(yùn)行，但相同LLM model放在較高階顯卡上測試時(shí)VRAM使用達(dá)到21GB 故猜測模型會自動(dòng)調(diào)整參數(shù)降低VRAM使用量，但在效能會有其影響。

高性能邊緣AI服務(wù)器（算力500-1000+ TOPS）

推薦型號：

Edge AI 服務(wù)器：HPC-6240 /HPC-7420/SKY-602E3 （支持1-4張GPU卡）

支持DeepSeek-R1蒸餾模型版本：

?DeepSeek-R1-Distill-Qwen-14B

?DeepSeek-R1-Distill-Qwen-32B

?DeepSeek-R1-Distill-Llama-70B

測試型號：SKY-602E3

研華全棧式邊緣AI平臺，以“邊緣原生智能”重塑工業(yè)生產(chǎn)力

研華打造了全棧式邊緣AI硬件矩陣，從微端到邊緣云：包括AI模塊、AI板卡、AI 加速卡、AI 嵌入式和工業(yè)平臺，AI邊緣平臺、邊緣AI服務(wù)器，乃至邊緣整機(jī)柜服務(wù)器。算力范圍從5 TOPS至2000+TOPS，用戶可根據(jù)業(yè)務(wù)場景靈活選型，實(shí)現(xiàn)精度與效率的最佳平衡。研華希望與伙伴攜手，以“邊緣原生智能”重塑工業(yè)生產(chǎn)力！

如果您對研華邊緣AI平臺產(chǎn)品感興趣，可聯(lián)系研華在地業(yè)務(wù)，或者關(guān)注研華官方微信【研華工業(yè)物聯(lián)網(wǎng)】了解更多產(chǎn)品咨詢。

關(guān)于研華 –研華科技成立于1983年，以“智能地球的推手”作為企業(yè)品牌愿景，一直專注于工業(yè)物聯(lián)網(wǎng)、嵌入式物聯(lián)網(wǎng)及智慧城市三大市場。為迎接物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能的大趨勢，研華提出以邊緣智能和WISE-PaaS工業(yè)云平臺為核心的物聯(lián)網(wǎng)軟、硬件解決方案，協(xié)助客戶伙伴串接產(chǎn)業(yè)鏈。研華業(yè)務(wù)分布全球27個(gè)國家，擁有約8,300名員工，憑借強(qiáng)大的技術(shù)服務(wù)及營銷網(wǎng)絡(luò)，為客戶提供本土化響應(yīng)的便捷服務(wù)。此外，研華積極推進(jìn)產(chǎn)業(yè)伙伴共創(chuàng)，加速AIoT生態(tài)圈布建與發(fā)展。

研華服務(wù)電話：800-810-0345（座機(jī)）/400-810-0345（手機(jī)）

研華官方網(wǎng)站：www.advantech.com.cn

微信服務(wù)號：研華工業(yè)物聯(lián)網(wǎng)

本月熱點(diǎn) HOME

欄目熱點(diǎn) HOME