字節(jié)跳動技術(shù)團隊在其官方公眾號發(fā)表文章,介紹了字節(jié)跳動的一項新技術(shù)。
該模型中的生成式對抗網(wǎng)絡(GAN),可以用于圖片風格遷移、圖像編輯、圖片生成等場景,為畫面以及視頻改變風格。
舉例來看,該技術(shù)可以將一匹棕色的馬變成斑馬,或者將莫奈的風景畫變成真實的照片。依據(jù)一個 鞋子的輪廓,可以自動生成真實的鞋子圖形。
字節(jié)跳動表示,圖片風格遷移、圖像編輯、圖片生成等場景。2020 年,麻省理工學院、Adobe 和上海交通大學技術(shù)人員提出一種 GAN 壓縮算法,將算力消耗成功減少到 1/21。
字節(jié)跳動技術(shù)團隊推出了一項自研 GAN 壓縮算法,名為“在線多粒度蒸餾技術(shù)”,簡稱 OMGD。
這項算法能夠極大降低 CycleGAN 和 Pix2Pix 模型的算力消耗,分別降至原來的 1/40 和 1/46。不僅參數(shù)和計算量更少,圖像生成效果也更好。
結(jié)果顯示,OMGD 消耗的計算量僅為 1.219G,相比于原始狀態(tài)的 56.8G,計算量大幅減少,生成效果也更優(yōu)。
關(guān)鍵詞: 字節(jié)跳動