喚醒．識(shí)別．場(chǎng)景．理解．情境感知 DSP IP＂擴(kuò)展＂不停歇

結(jié)合 Cortex-A53 內(nèi)核和 NPU，邊緣設(shè)備可實(shí)現(xiàn)帶有自然語(yǔ)言處理 (NLP) 情感檢測(cè)及人與設(shè)備的無(wú)縫交互。i.MX 8M+ 還集成楷登電子 (Cadence) 旗下 Tensilica 公司的 HiFi 4 DSP，通過(guò)對(duì)＂音頻串流＂做預(yù)處理和后處理，以增強(qiáng) NLP 能力——Cortex-M7 用于運(yùn)行實(shí)時(shí)響應(yīng)系統(tǒng) (喚醒單詞檢測(cè))，應(yīng)用處理器則執(zhí)行復(fù)雜的非實(shí)時(shí)應(yīng)用程序以降低整體系統(tǒng)級(jí)功耗。恩智浦 i.MX RT600 亦采用 Tensilica HiFi 4 DSP (@600MHz)，鎖定邊緣語(yǔ)音、音頻和其他神經(jīng)網(wǎng)絡(luò) (NN) 應(yīng)用。特別一提，HiFi DSP 是用于音頻和 AI 語(yǔ)音最廣泛許可的 DSP。

Cadence：Tensilica HiFi DSP 優(yōu)化 AI 語(yǔ)音識(shí)別＆遠(yuǎn)場(chǎng)音頻處理
Cadence 去年初再針對(duì) TensorFlow 精簡(jiǎn)版 MCU 優(yōu)化，目標(biāo)是提供 ML 端到端開(kāi)源平臺(tái)，在超低功耗內(nèi)核運(yùn)行邊緣 ML、省去人工編碼 NN 工時(shí)——Tensilica HiFi DSP 是首個(gè)＂支持 TensorFlow Lite for MCU＂的 DSP，更有利于關(guān)鍵詞／音頻場(chǎng)景檢測(cè)、降噪和語(yǔ)音識(shí)別等 ML 應(yīng)用程序創(chuàng)新。HiFi DSP 已移植并優(yōu)化 Retune DSP 的多麥克風(fēng)波束成形、回聲消除、到達(dá)方向指示技術(shù)并集成關(guān)鍵詞語(yǔ)音觸發(fā)，支持自適應(yīng)近場(chǎng)和遠(yuǎn)場(chǎng)波束成形，可配置 2～9 個(gè)或更多麥克風(fēng)，以改善信噪比 (SNR) 并提供卓越的語(yǔ)音控制性能。

如此，將可顯著改善語(yǔ)音清晰度，適用于語(yǔ)音控制或通信，包括：手機(jī)、智能電視、耳機(jī)、數(shù)字助理、機(jī)器人技術(shù)和汽車(chē)等語(yǔ)音處理。先進(jìn)的 DSP 算法需要更高的處理能力和能源效率，以消除噪聲并隔離揚(yáng)聲器的聲音、提高理解度。于 2018 年推出的 Tensilica HiFi 5 DSP，則是首個(gè)＂針對(duì) AI 語(yǔ)音識(shí)別和遠(yuǎn)場(chǎng)音頻處理＂優(yōu)化的 DSP，經(jīng)由改進(jìn)浮點(diǎn)和定點(diǎn) DSP 功能及對(duì)新數(shù)據(jù)類(lèi)型的本機(jī)支持；其新型 32 位 MAC／周期神經(jīng)網(wǎng)絡(luò)引擎為運(yùn)行復(fù)雜語(yǔ)音提供有效識(shí)別演算，將浮點(diǎn)性能提升兩倍、基于 NN 語(yǔ)音識(shí)別算法效能提升四倍。