智能終端的圖像功能日益豐富,各種好玩的、有趣的圖像效果層出不窮。不可避免的,復(fù)雜的圖像處理算法以及AI深度學(xué)習(xí)功能的集成,對(duì)手機(jī)性能和續(xù)航能力的要求也越來越高。
紫光展銳2019年8月發(fā)布的4G移動(dòng)平臺(tái)虎賁T618,8核架構(gòu),集成了視覺信息處理器(以下簡稱VDSP),將更好的滿足高要求的邊緣視覺和AI處理需求。
多個(gè)VDSP,有啥不一樣?VDSP不僅能針對(duì)圖像和AI處理任務(wù)加速運(yùn)算,為性能加速,同時(shí)會(huì)顯著降低終端的功耗。
先來張簡潔明了的規(guī)格表重溫下虎賁T618:
可以看到,AI的參數(shù)一欄,虎賁T618配置了具有強(qiáng)大運(yùn)算能力的專用VDSP,可以更好的解決復(fù)雜的Camera視覺和AI處理任務(wù)。
VDSP最重要的特性是支持寬向量的SIMD(單指令多數(shù)據(jù)),VDSP能通過一條指令來并行處理大量的數(shù)據(jù)流,圖像處理、視頻處理、計(jì)算視覺、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等功能的實(shí)現(xiàn)都需要用到這一點(diǎn)。在獲得高性能計(jì)算的情況下,VDSP還具有低功耗優(yōu)勢,與ISP(圖像信號(hào)處理)結(jié)合,可獲得更多差異化的性能體驗(yàn),比如HDR(高動(dòng)態(tài)范圍圖像)和FDR(全動(dòng)態(tài)范圍圖像)。
通過專門的VDSP相比通過CPU來處理圖像和視頻等大數(shù)據(jù)流,兩者能有多大差異?速度和功耗兩方面都有顯示優(yōu)勢。以經(jīng)典輕量級(jí)圖像語義分割模型deeplabV3模型為例,(這是一種非常先進(jìn)的基于深度學(xué)習(xí)的圖像語義分割方法,可對(duì)物體進(jìn)行像素級(jí)分割)。
輸入分辨率為512×512,實(shí)測VDSP和CPU的不同功耗及性能數(shù)據(jù)如下:
從測試數(shù)據(jù)可以看出,對(duì)密集乘加運(yùn)算:4個(gè) CPU核心全速運(yùn)行帶來的功耗,大約是1個(gè)VDSP核全速運(yùn)行的4倍。VDSP處理模型速度快2.5倍。能效比上,VDSP是CPU 4核的10倍!
虎賁T618不僅針對(duì)AI應(yīng)用,在HDR、實(shí)時(shí)美顏、語義分割等應(yīng)用上,性能上有更好的提升;①ST618提供的實(shí)時(shí)人像背景替換,滿足了趣味換景、視頻會(huì)議濾除換景等個(gè)性化需求。
虎賁T618由VDSP加持可提供實(shí)時(shí)美顏,滿足短視頻實(shí)時(shí)美顏需求,再加上HDR/FDR算法加速,可以拍出高動(dòng)態(tài)、高清晰度的超高畫質(zhì)圖像。