飛象網(wǎng)訊（魏德齡/文）“10號”這一足球場上代表了球隊(duì)核心的號碼，隨著戰(zhàn)術(shù)理念的變化，其所屬球員的定義也正在發(fā)生改變，從原來的傳統(tǒng)組織核心，轉(zhuǎn)變?yōu)閮A向于全能中場的設(shè)定，要求球員在擁有聰明的頭腦之上，既能在關(guān)鍵時刻爆發(fā)能量、組織發(fā)起攻勢，還要有更高體能的耐力要求，與球隊(duì)達(dá)到共同施壓的效果。
隨著生成式AI在移動終端上的初露端倪，對于如何策動智能新體驗(yàn)，也在硬件能力上有了全新要求，就移動賽場上的新“10號”而言，同樣少不了如同全能型中場一樣的上述三樣關(guān)鍵能力，并能夠?qū)崿F(xiàn)有效協(xié)同。
生成式AI時代的全能中場
聰明的頭腦確保了瞬間反應(yīng)能力，如在球場上敏銳地發(fā)現(xiàn)空檔，或快速進(jìn)行攔截。在智能終端上則代表了由用戶發(fā)出的按需型用例，并立即進(jìn)行響應(yīng)。例如圖片或視頻的拍攝、在PC上生成會議摘要，或在開車時用語音查詢最近的加油站。
爆發(fā)能量組織發(fā)起攻勢則需要在一段時間內(nèi)進(jìn)行高強(qiáng)度的帶動串聯(lián)。對于智能終端而言，則對應(yīng)了運(yùn)行時間較長的持續(xù)型用例，如語音識別、游戲和視頻的超級分辨率、視頻通話的音視頻處理及實(shí)時翻譯。
持續(xù)的跑動讓新10號能夠時刻能夠?qū)φw陣型與戰(zhàn)術(shù)作出貢獻(xiàn)，好比是智能終端上的泛在型用例，包括始終開啟的預(yù)測性AI助手、基于情景感知的AI個性化和高級文本自動填充。
從上述三項(xiàng)能力要求中不難發(fā)現(xiàn)，如同對于全能型中場的要求，終端上的移動平臺其實(shí)存在著如在“性能爆發(fā)與持久續(xù)航”之間的矛盾點(diǎn)，這就需要利用內(nèi)部不同的處理器來進(jìn)行不同的任務(wù)，CPU擅長于順序控制和即時性，GPU適合并行數(shù)據(jù)流處理，NPU擅長標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，可用于核心AI工作負(fù)載。
也就是說，通過使用合適的處理器，異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，賦能全新增強(qiáng)的生成式AI體驗(yàn)。讓跑不累的新“10號”，還能有細(xì)膩的腳法與關(guān)鍵時刻的爆發(fā)力。
于是，不妨就來具體看看這名新“10號”的具體各項(xiàng)能力如何，以及它將如何進(jìn)行靈活運(yùn)用，來實(shí)現(xiàn)在AI上的全面表現(xiàn)。
高效組織的AI引擎
從上文中不難發(fā)現(xiàn)，移動平臺中的眾多單元其實(shí)都參與了AI用例的運(yùn)算工作。在高通技術(shù)公司剛剛發(fā)布的最新白皮書《通過NPU和異構(gòu)計(jì)算開啟終端側(cè)生成式AI》中將高通AI引擎定義為包括Hexagon NPU、Adreno GPU、高通Kryo或Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)，能夠支持按需型用例、持續(xù)型用例和泛在型用例，為生成式AI提供業(yè)界領(lǐng)先的異構(gòu)計(jì)算解決方案。
對于新“10號”，“球商”高不高無疑決定了上限將能夠達(dá)到何種水平。其中Hexagon NPU在近年來可謂迎來了巨大升級，在2020年高通Hexagon NPU實(shí)現(xiàn)了標(biāo)量、向量和張量加速器的架構(gòu)融合，打造了專用大共享內(nèi)存，為未來的進(jìn)一步升級奠定了基礎(chǔ)。2022年的第二代驍龍8中引入了微切片推理能力，可將神經(jīng)網(wǎng)絡(luò)分割成多個能夠獨(dú)立執(zhí)行的微切片，可最大化利用NPU中的加速器并降低功耗。2023年發(fā)布的第三代驍龍8，為持續(xù)AI推理帶來了98%的性能提升和40%能效提升，Hexagon NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。
Adreno GPU可用于以高精度格式進(jìn)行AI并行處理，支持32位浮點(diǎn)、16位浮點(diǎn)和8位正數(shù)運(yùn)算。在第三代驍龍8中，基于Adreno GPU，Llama 2-7B每秒可生成超過13個tokens。
高通Oryon CPU在驍龍X Elite計(jì)算平臺上可謂實(shí)現(xiàn)了一鳴驚人，在功耗僅為競品三分之一的情況下，可提供高達(dá)競品兩倍的CPU性能，非常擅長時延敏感型的低計(jì)算量AI工作負(fù)載。
同時，在整體架構(gòu)上，高通進(jìn)一步提升了AI引擎的運(yùn)行能力。例如作為大語言模型token生成瓶頸的內(nèi)存帶寬，一方面移動平臺上的共享內(nèi)存機(jī)制帶來了天生的優(yōu)勢，另一方面高通還為第三代驍龍8配置了最快的內(nèi)存之一：4.8GHz LPDDR5x，支持77GB/s帶寬。
異構(gòu)計(jì)算也帶來在運(yùn)行生成式AI工作負(fù)載時的最佳解決方案，可充分利用所有處理器的能力，包括跨處理器和處理器內(nèi)核擴(kuò)展生成式AI處理，以及將生成式AI模型和用例映射至一個或多個處理器及內(nèi)核。
高通技術(shù)公司產(chǎn)品管理高級副總裁Ziad Asghar就舉例表示：當(dāng)應(yīng)用使用小模型時，CPU通常是正確的選擇。而當(dāng)模型變大時，GPU和NPU往往更合適。電池續(xù)航和能效對于持續(xù)和泛在型用例至關(guān)重要，因此NPU是最佳選擇。
當(dāng)新“10號”AI引擎具備了全面的能力，移動賽場的新體驗(yàn)升級也將開始策動，下面不妨來看看當(dāng)下這個最為經(jīng)典的本地AI案例背后，新10號帶來了什么樣的臨場表現(xiàn)。
策動智能新體驗(yàn)
AI個人助手恰好是一個充分體現(xiàn)AI引擎如何通過不同的處理器來完成工作負(fù)載的案例。
當(dāng)用戶與AI助手進(jìn)行交談時，通過高通傳感器中樞上運(yùn)行的OpenAI自動語音識別生成式AI模型Whisper，可將語音轉(zhuǎn)化為文本。隨即在通過NPU上運(yùn)行的大語言模型Llama 2-7B生成文本回復(fù)。CPU再通過運(yùn)行開源TTS模型將文本轉(zhuǎn)化為語音。整個過程中，NPU還負(fù)責(zé)實(shí)現(xiàn)虛擬化身與語音的輸出同步，再借助音頻創(chuàng)建融合變形動畫，為嘴形和面部表情帶來合適的動畫效果。GPU還會在最后完成虛擬化身的渲染。
綜上不難發(fā)現(xiàn)，整個過程盡可能的實(shí)現(xiàn)了本地完成。只有當(dāng)遇到如機(jī)票預(yù)定這類聯(lián)網(wǎng)問題時，才會通過云端的插件來完成操作。最大限度的確保了用戶隱私安全，同時也大大減輕了云端的功耗壓力。
大語言模型落地至端側(cè)的案例背后，其實(shí)也預(yù)言了生成式AI對于電子終端在交互方式上的變革。當(dāng)用戶只需通過簡單的對話就能獲得想要的結(jié)果，調(diào)用開啟相關(guān)功能，甚至是直接完成機(jī)票、商品的消費(fèi)時，就意味著電子終端將在交互上打破如今在不同應(yīng)用間的隔閡，用戶不用反復(fù)跳轉(zhuǎn)，就能在單一入口下達(dá)成所需。就像如今很多人開始通過具備聯(lián)網(wǎng)能力的生成式AI，來替代傳統(tǒng)搜索引擎。
策動這場智能新一輪體驗(yàn)變革的核心，無疑正是AI引擎。移動賽場上正在迎來的戰(zhàn)術(shù)與理念變化，同樣也需要對于核心的重新定義，已經(jīng)展現(xiàn)出全能屬性的新“10號”正在躍躍欲試。
