作者 | 雷雨亭
視頻，作為人們?nèi)粘?nèi)容消費(fèi)的主要形式之一，在過(guò)去幾十年來(lái)經(jīng)歷了翻天覆地的變化。
從早期低分辨率、有限色彩的視覺表現(xiàn)，到如今不僅在畫質(zhì)上實(shí)現(xiàn)飛躍，而是提供全方位、更真實(shí)、流暢的視覺感受。這一切的背后，離不開視頻云技術(shù)的強(qiáng)大支撐。如今，其應(yīng)用范圍已經(jīng)超越了傳統(tǒng)的娛樂領(lǐng)域，遠(yuǎn)程協(xié)作、在線教育、電商帶貨等極大地提升了日常生活的便捷性；而 AR/VR 等新興技術(shù)的興起，則提供了更加身臨其境的體驗(yàn)。視頻云技術(shù)正在重塑我們與數(shù)字世界的連接方式。
隨著 AI 時(shí)代的來(lái)臨，視頻云也迎來(lái)了新機(jī)遇。2024 年，被譽(yù)為 AI 應(yīng)用落地的元年，大模型正以前所未有的速度走入千行百業(yè)，重塑人們的日常生活。IDC 觀察到“大模型”、“生成式人工智能”與視頻云產(chǎn)品融合實(shí)現(xiàn)了超預(yù)期進(jìn)展，這一趨勢(shì)預(yù)示著視頻云的全面升級(jí)正當(dāng)時(shí)。視頻云通過(guò)引入 AI 技術(shù)，其應(yīng)用范圍是否會(huì)進(jìn)一步擴(kuò)大？如何為用戶帶來(lái)更加豐富多元的多媒體體驗(yàn)？這些問題背后，蘊(yùn)含著無(wú)限的可能性和廣闊的前景。
作為這場(chǎng)技術(shù)革命的見證者和推動(dòng)者，火山引擎視頻云聯(lián)合英特爾中國(guó)共同推出《云上新視界》第二季，以 “未來(lái)視界 盡在掌握” 為主題推出三期節(jié)目，內(nèi)容涵蓋電商大促、VR 文旅、賽事直播等前沿話題，深入探討了 AI 時(shí)代下視頻云技術(shù)的革新與應(yīng)用，展現(xiàn)了火山引擎視頻云在音視頻全鏈路中的創(chuàng)新實(shí)踐，以及 AIGC 技術(shù)如何賦能音視頻領(lǐng)域的新發(fā)展。
從 2024 年 6 月 27 日正式上線到現(xiàn)在，在火山引擎開發(fā)者社區(qū)、字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)公眾號(hào)、字節(jié)跳動(dòng)視頻云技術(shù)團(tuán)隊(duì)公眾號(hào)、InfoQ 等內(nèi)容平臺(tái)收獲無(wú)數(shù)好評(píng)。在本文中，將為您重點(diǎn)介紹三個(gè)應(yīng)用場(chǎng)景，一起來(lái)了解最前沿的視頻云技術(shù)如何重塑用戶體驗(yàn)吧！
1 全鏈路賦能，AIGC 重塑抖音電商大促季
電商作為人們?nèi)粘ＯM(fèi)的一環(huán)，含有大量?jī)?nèi)容素材，從文字描述、產(chǎn)品圖像到展示視頻，及信息流廣告等等，無(wú)一不考驗(yàn)商家對(duì)內(nèi)容素材的生產(chǎn)能力。特別是在大促期間，內(nèi)容需求會(huì)急劇增加。
AIGC 技術(shù)能顯著增強(qiáng)電商場(chǎng)景，包括自動(dòng)生成文案、圖片和音視頻素材，優(yōu)化商品描述和推薦搜索機(jī)制，提供虛擬購(gòu)物體驗(yàn)，以及提升用戶交互體驗(yàn)。這些應(yīng)用能覆蓋電商內(nèi)容生產(chǎn)的多個(gè)環(huán)節(jié)，從商品展示到營(yíng)銷素材，再到用戶交互和虛擬體驗(yàn)，幾乎滿足電商場(chǎng)景下素材生成的全部需求。
但針對(duì)內(nèi)容生成的多樣性需求，如根據(jù)不同商品特性（如服裝、電子產(chǎn)品）提供多樣化視覺效果，要求模型能夠針對(duì)具體應(yīng)用場(chǎng)景進(jìn)行微調(diào)或訓(xùn)練。同時(shí)，為滿足用戶對(duì)快速響應(yīng)的需求，需在成本、效率和質(zhì)量之間尋找平衡點(diǎn)，可能通過(guò)選用高性能硬件或優(yōu)化軟件部署來(lái)實(shí)現(xiàn)。此外，硬件選擇也是一個(gè)關(guān)鍵點(diǎn)，需根據(jù)業(yè)務(wù)場(chǎng)景和成本效益選擇合適的 CPU、GPU 或 AI 加速器方案。
為了解決這些需求難點(diǎn)，火山引擎視頻云在多方面進(jìn)行了技術(shù)突破。 例如優(yōu)化生成素材質(zhì)量，研發(fā)先進(jìn)模型以提升內(nèi)容多樣性和創(chuàng)造性，確保多媒體內(nèi)容高分辨率和真實(shí)感；根據(jù)商品和場(chǎng)景產(chǎn)出個(gè)性化內(nèi)容，避免同質(zhì)化；使用多樣化數(shù)據(jù)訓(xùn)練模型，增強(qiáng)多模態(tài)生成能力和交互性；優(yōu)化算力使用和算法效率，降低成本；實(shí)施數(shù)據(jù)加密、脫敏、訪問控制等措施保護(hù)隱私。
英特爾的底層技術(shù)方案則在提供硬件資源的前提下，通過(guò)軟硬件的優(yōu)化方案來(lái)加速模型的訓(xùn)練和推理，為 AIGC 解決方案提供了可行性。首先，為確保為云上用戶 AIGC 方案的易用性，應(yīng)滿足性能要求的同時(shí)最小化成本，并通過(guò)一鍵式部署簡(jiǎn)化使用體驗(yàn)。此外，AIGC 方案強(qiáng)調(diào)可擴(kuò)展性和動(dòng)態(tài)擴(kuò)縮容能力，以適應(yīng)流量變化，保證服務(wù)質(zhì)量的同時(shí)避免資源浪費(fèi)，尤其是在選擇計(jì)算資源時(shí)，CPU 在計(jì)算粒度、內(nèi)存和彈性方面表現(xiàn)出優(yōu)勢(shì)，有助于優(yōu)化成本。
這些技術(shù)的已經(jīng)為抖音電商大促場(chǎng)景帶來(lái)了多重增益。首先，商家可以快速生成海量創(chuàng)意內(nèi)容，滿足高頻營(yíng)銷需求；其次，AIGC 增強(qiáng)了商品的視覺吸引力，例如抖音超市自營(yíng)商品氛圍圖已實(shí)現(xiàn) 100% 托管，整體點(diǎn)擊率提升了超過(guò) 3 個(gè)百分點(diǎn)；此外，AIGC 通過(guò)提取核心賣點(diǎn)和提供精準(zhǔn)的個(gè)性化推薦，有效提升了轉(zhuǎn)化率和銷售額；在大促期間，AIGC 驅(qū)動(dòng)的智能客服能夠 7x24 小時(shí)不間斷地提供咨詢和反饋服務(wù)，提高了服務(wù)效率。
可以看出，從商品描述、到商品圖片、視頻、3D 展示到提取廣告素材，AIGC 技術(shù)持續(xù)貼合更多使用場(chǎng)景的服務(wù)。在未來(lái)，電商的內(nèi)容生產(chǎn)會(huì)趨向鏈路化、全自動(dòng)化，并且能在短時(shí)間內(nèi)生成海量的高質(zhì)量?jī)?nèi)容�；蛟S只需要一個(gè)指令，它就能全自動(dòng)進(jìn)行內(nèi)容生產(chǎn)。
2 超大空間、多人并發(fā)，揭秘云 VR 大空間技術(shù)
不僅是線上電商，視頻云技術(shù)也正在為線下場(chǎng)景帶來(lái)新契機(jī)，其中云 VR 大空間已成為文旅行業(yè)炙手可熱的新概念。
相較于傳統(tǒng)的 VR 文旅，云 VR 大空間通過(guò)提供高度沉浸感和真實(shí)感的空間，讓用戶可以在虛擬環(huán)境中自由漫步并實(shí)現(xiàn)一些交互，尤其當(dāng)這種技術(shù)與傳統(tǒng)文化相結(jié)合時(shí)，使得整個(gè)場(chǎng)景具有 3A 級(jí)或電影級(jí)別的沖擊力。
在技術(shù)上，云 VR 大空間解放了場(chǎng)景開發(fā)的算力限制；整個(gè)迭代更新過(guò)程也實(shí)現(xiàn)了加速，開發(fā)周期從原本的一年半縮短至 3 到 6 個(gè)月；還極大地減少運(yùn)維的復(fù)雜度，使得行業(yè)參與者能夠更加快速的投產(chǎn)。
但目前來(lái)看，云 VR 大空間依舊面臨不少技術(shù)挑戰(zhàn)，包括高質(zhì)量?jī)?nèi)容的缺乏、高成本、場(chǎng)地要求高且規(guī)模不足、技術(shù)門檻高等問題。同時(shí)，云 VR 的渲染模型和資源瓶頸也是需要解決的問題。
火山引擎的“1+3+1”綜合解決方案框架便是整合內(nèi)容開發(fā)、端網(wǎng)云及運(yùn)營(yíng)平臺(tái)，為 VR 內(nèi)容提供全面技術(shù)支持。“1”涵蓋 VR 內(nèi)容開發(fā)，如動(dòng)作捕捉、大空間定位與三維重建；“3”涉及 VR 設(shè)備端（音視頻解碼、手勢(shì)識(shí)別等）、網(wǎng)絡(luò)傳輸（穩(wěn)定低延時(shí)、高碼率）和云端技術(shù)（虛擬化、串流、渲染編解碼）；最后一個(gè)“1”指運(yùn)營(yíng)平臺(tái)，支持業(yè)務(wù)運(yùn)營(yíng)、多人互動(dòng)等功能。
在底層技術(shù)上，英特爾銳炫™ A770 顯卡通過(guò)創(chuàng)新實(shí)踐支持云 VR 大空間應(yīng)用。其亮點(diǎn)包括對(duì) DXR Ultimate 游戲和 GAR 超采樣技術(shù)的支持，以及 200 TOPS 的 AI 加速。在《何以華夏》項(xiàng)目中，英特爾銳炫™ A770 顯卡提供了 560GB/s 高帶寬內(nèi)存，并通過(guò)多卡方案降低了運(yùn)營(yíng)成本。不斷優(yōu)化的驅(qū)動(dòng)程序解決了兼容性和性能問題，已有 100 多個(gè)游戲支持 XES。此外，彈性編碼方案降低了編碼和網(wǎng)絡(luò)延遲，提升了用戶體驗(yàn)。未來(lái)，單卡多實(shí)例 SRV、邊緣渲染、AIGC 和大語(yǔ)言模型問答將成為云 VR 發(fā)展的關(guān)鍵方向。
在對(duì)于云 VR 大空間的嘗試中，火山引擎與英特爾走在前列。 在 2023 年，字節(jié)跳動(dòng)旗下 XR 品牌 PICO 與全球英特爾達(dá)成正式對(duì)外發(fā)布雙方共創(chuàng)文化 IP「何以華夏」，其中火山引擎提供技術(shù)支持，通過(guò)先進(jìn)的 VR 技術(shù)方案，讓整個(gè)行業(yè)看到了 VR 與文化 IP 深度結(jié)合的可能性。2024 年春節(jié)期間，全球首例云 VR 大空間應(yīng)用——龍游神州，在地壇廟會(huì)正式上線。這個(gè)云 VR 大空間項(xiàng)目實(shí)現(xiàn)了 150 平米峰值并發(fā)突破 21 路，并且實(shí)現(xiàn)了高幀率、低延遲、高清碼率的整體目標(biāo)，獲得了用戶和各方的廣泛認(rèn)可。目前在北京、上海、成都等城市，火山引擎所參與的《重返三星堆》《貞觀之歌》等項(xiàng)目正在陸續(xù)上線中。
云 VR 大空間所帶來(lái)的想象力是巨大的，未來(lái)有望進(jìn)一步拓展到教育、醫(yī)療、娛樂、企業(yè)培訓(xùn)等多個(gè)行業(yè)。特別是在文娛領(lǐng)域，KTV 和電影院等公共場(chǎng)所可能會(huì)成為重要的應(yīng)用場(chǎng)景。云 VR 進(jìn)入家庭，也可以讓用戶在家也能享受到豐富多彩的 VR 體驗(yàn)。
3 高畫質(zhì)、低延遲、超穩(wěn)定，視頻云如何應(yīng)對(duì)賽事爆發(fā)年
在國(guó)際上，場(chǎng)景進(jìn)化同樣也對(duì)視頻云技術(shù)提出了更高要求。2024 年全球賽事的爆發(fā)，歐洲杯、美洲杯、巴黎奧運(yùn)會(huì)等賽事引發(fā)觀賽熱潮，在賽事直播領(lǐng)域，裸眼 3D、VR 互動(dòng)、AI 互動(dòng)等新玩法將觀賽體驗(yàn)再度升級(jí)，這也為賽事直播帶來(lái)了新的技術(shù)挑戰(zhàn)。
第一，面對(duì)龐大的觀眾群體和高流量，確保服務(wù)的穩(wěn)定與可靠是首要任務(wù)。第二，要做到直播的實(shí)時(shí)和流暢，低延遲性是實(shí)頂級(jí)的觀看體驗(yàn)的核心。第三是高性能，只有盡可能發(fā)揮硬件的性能，才能夠在控制成本的同時(shí)，提供超高清且沉浸式的用戶體驗(yàn)。
火山引擎的 RTM 超低延時(shí)直播技術(shù)解決方案，通過(guò) UDP 協(xié)議優(yōu)化方案解決 TCP 協(xié)議自身的局限性；在體驗(yàn)優(yōu)化方面，節(jié)點(diǎn)優(yōu)選、用戶網(wǎng)絡(luò)分級(jí)等方面完成一百多項(xiàng)升級(jí)，實(shí)現(xiàn)直播端到端的延遲能夠小于一秒；在直播卡頓、秒開成功率等關(guān)鍵指標(biāo)上超越傳統(tǒng)直播。針對(duì)高并發(fā)場(chǎng)景，兼容了對(duì)樹狀和網(wǎng)狀動(dòng)態(tài)組網(wǎng)的分發(fā)架構(gòu)，能夠更高效的處理復(fù)雜的容量及線路問題。該技術(shù)已在卡塔爾世界杯、杭州亞運(yùn)會(huì)以及巴黎奧運(yùn)會(huì)等多場(chǎng)全球賽事中得到應(yīng)用，證明了其在提供低延遲、高畫質(zhì)和流暢觀播體驗(yàn)方面的能力。
在保證低延時(shí)及強(qiáng)傳輸之外，觀眾對(duì)觀看效果的追求也越來(lái)越高，VR 觀賽成為提升觀眾觀看體驗(yàn)的新趨勢(shì)。以 2024 年巴黎奧運(yùn)會(huì)為例，抖音通過(guò)火山引擎提供全程直播，引入個(gè)性化形象選擇和空間音頻效果，實(shí)現(xiàn)沉浸式觀賽體驗(yàn)。這也帶來(lái)了更高的技術(shù)挑戰(zhàn)，沉浸式觀賽需要每秒需要傳輸大量幀數(shù)，對(duì)傳輸層構(gòu)成了巨大壓力，容易因網(wǎng)絡(luò)擁塞導(dǎo)致卡頓、延遲甚至無(wú)法播放的問題。英特爾所提供的 OVC 360 度視頻庫(kù)、SVT 可擴(kuò)展視頻庫(kù)以及 Open WebRTC Toolkit 等工具，可以幫助用戶快速高效的開發(fā)應(yīng)用。
在平臺(tái)直播效果之外，視頻和 AI 的結(jié)合也越來(lái)越緊密；以及在直播編碼器 BVC、智能廣告等智能化傳播場(chǎng)景也有新突破。在未來(lái)，直播技術(shù)將在交互性、沉浸式體驗(yàn)和智能化三個(gè)方向上進(jìn)一步創(chuàng)新，包括更低延遲的直播、自由視角視頻技術(shù)和基于 AI 的直播內(nèi)容生成與推薦�；鹕揭媛�(lián)手英特爾將會(huì)根據(jù)市場(chǎng)需求和技術(shù)趨勢(shì)持續(xù)推出新功能和服務(wù)，以提升直播效果和用戶體驗(yàn)。
跟隨《云上新視界》第二季的深入探討，可以看出視頻云技術(shù)在電商大促、云 VR 大空間以及全球賽事直播等多個(gè)領(lǐng)域的創(chuàng)新應(yīng)用，也看到了視頻云所帶來(lái)的無(wú)限可能。從 AIGC 賦能抖音電商大促季的內(nèi)容生成革命，到云 VR 大空間為文旅行業(yè)帶來(lái)的沉浸式體驗(yàn)升級(jí)，再到 RTM 超低延時(shí)直播技術(shù)保障全球賽事的流暢觀看，每一項(xiàng)進(jìn)展都是對(duì)視頻云行業(yè)的巨大飛躍。
