3 月 1 日消息，據(jù)聯(lián)合視頻專家組 JVET 官網(wǎng)顯示，字節(jié)跳動 AVG(先進(jìn)視頻團(tuán)隊)今年 2 月發(fā)起一項視頻壓縮的技術(shù)提案，該提案能夠在優(yōu)化壓縮質(zhì)量的同時，節(jié)約至少 13% 的存儲和帶寬。例如，一段 180 分鐘 H.266/VVC 標(biāo)準(zhǔn)的高清視頻(1080P 分辨率)，大約需要 3GB 的數(shù)據(jù)體積，應(yīng)用新技術(shù)后只需要 2.6GB。
視頻是由一張張圖片連接起來的動態(tài)圖像序列，視頻編解碼則是視頻應(yīng)用的底層核心技術(shù)，作用是對圖像進(jìn)行壓縮和數(shù)字編碼，以盡可能小的帶寬傳送高質(zhì)量的視頻數(shù)據(jù)。H.266/VVC 能夠在不影響畫質(zhì)的情況下，把視頻碼率降低到前一代標(biāo)準(zhǔn) H.265/HEVC 的一半。本來只夠放標(biāo)清視頻的網(wǎng)速，也能流暢播放高清視頻。
此次字節(jié)跳動 AVG 提出的新算法，旨在通過深度學(xué)習(xí)技術(shù)構(gòu)建減少視頻壓縮失真的濾波器 (DAM)，主干是基于殘差單元堆疊的深度卷積網(wǎng)絡(luò)，輔以自適應(yīng)模型選擇以最大程度適應(yīng)特性復(fù)雜的自然視頻。所謂殘差單元是指通過引入跳層連接，允許網(wǎng)絡(luò)把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決斗，“劍光一閃”，每一幀圖像絕大部分內(nèi)容是相同的，閃動的劍光形成殘差，這也是視頻編碼壓縮的重點關(guān)注對象。
實驗結(jié)果顯示，相比 H.266/VVC 最新標(biāo)準(zhǔn)，字節(jié)跳動的 DAM 解決方案能夠為視頻編碼性能帶來顯著提升，亮度信號 Y 可實現(xiàn) 10.28% 的性能增益，兩個色度信號 U 和 V，性能增益也分別達(dá)到 28.22% 和 27.97%，在視頻質(zhì)量有所優(yōu)化的同時，至少還可縮小 13% 的數(shù)據(jù)體積。
據(jù)悉，AVG 的各項研究成果，也將通過 BVC 編碼器的升級換代投入應(yīng)用，包括抖音、西瓜視頻、今日頭條等 App 的視頻類內(nèi)容處理，以及云計算、云游戲等基礎(chǔ)架構(gòu)領(lǐng)域。
根據(jù)公開報道，字節(jié)跳動 AVG 在美國加州建立研發(fā)團(tuán)隊，成員有來自高通、微軟、英特爾等巨頭的資深研究員，也有出身海內(nèi)外頂級院校的新生代。在此前 JVET 制定新一代國際視頻編解碼標(biāo)準(zhǔn) H.266/VVC 的過程中，字節(jié)跳動 AVG 累計提交 260 + 項技術(shù)提案，其中 130 + 項被采納，被采納提案數(shù)和采納率均排在世界前列，是 H.266/VVC 核心算法的主要貢獻(xiàn)者之一。
