AI修圖到底有多強?

前幾日，Adobe Max 大會剛剛結束，Photoshop 2021版便登上了國外各大媒體版面。

其原因是，新版Ps工具中內置了AI驅動工具，諸如“天空置換”等高難度修圖問題，現在點點鼠標就可以輕松實現，而且效果遠超手動操作。

無論是拍人拍景或是其他，“天空”都可以說是攝像中的關鍵元素。比如，一張平平無奇的景色圖加上落日余暉的天空色調，是不是有內味了?

對于短視頻愛好者來說，如果也能達到如此處理效果豈不是更佳?

沒錯，今天小編就是要給大家介紹一款基于原生視頻的AI處理方法，不僅可以一鍵切置換天空背景，還可以打造任意“天空之城”。

AI視頻修復新玩法

這項AI處理方法來自密歇根大學的一位華人博士后的最新研究。該方法基于視覺技術可一鍵調整視頻中的天空背景和天氣轉換。

比如，《星際迷航》等科幻電影中經常出現的浩瀚星空、宇宙飛船，也可以利用這項技術融入隨手拍的視頻中。

公路片秒變科幻片，畫面毫無違和感。

視頻中的藍色的天空背景也隨飛船變成了灰蒙蒙的色調，一種世界末日的即視感有木有?

當然它的玩法還不止如此。

動漫迷也可以創建自己的移動城堡。喜歡《天空之城》《哈爾的移動城堡》的朋友應該對這一幕應該非常熟悉。

又或者在視頻中掛一個超級月亮，又是另一番景象。

好像只要腦洞夠大，利用這項AI技術，視頻創作就有無限種玩法。

另外，它還具備天氣轉換的功能，比如晴空萬里、陰雨綿綿、雷雨交加等各種天氣都可以在視頻中隨意切換。

喜歡玩Vlog的朋友聽著是不是非常心動了?研究人員表示，現在已經在考慮將其制作成插件/腳本的形式，方便相關從業者或行業使用。

在此之前，這項技術的AI代碼已經在Github開源，懂技術的朋友可以優先安裝體驗了~

Github地址：https://github.com/jiupinjia/SkyAR

技術原理

不同于傳統研究，研究人員提出了一種完全基于視覺的解決方案。它的好處就是可以處理非靜態圖像，同時不受拍攝設備的限制，也不需要用戶交互，可以處理在線或離線視頻。

上述實驗視頻，均是通過手持智能手機和行車記錄儀在野外拍攝的。經過該方法處理后，其在視頻質量、運動動態、照明轉換方面都達到了較高的保真度。比如在浮動城堡，超級月亮樣例中，使用單個NVIDIA Titan XP GPU卡，該方法可以在輸出分辨率為640 x 320時達到24 fps的實時處理速度，在854 x 480時達到接近15 fps的實時處理速度。

具體來說，該方法分為三個核心模塊：

天空遮罩框架(Sky Matting Network)：用于檢測視頻幀中天空區域的視頻框架。該框架是采用了基于深度學習的預測管道，能夠產生更精確的檢測結果和更具視覺效果的天空蒙版。

運動估計(Motion Estimation)：用于恢復天空運動的運動估計器。天空視頻需要在真實攝像機的運動下進行渲染和同步。

圖像融合(Image Blending)：用于將用戶指定的天空模板混合到視頻幀中的Skybox。除此之外，還用于重置和著色，使混合結果在其顏色和動態范圍內更具視覺逼真感。

完整框架如下圖：

天空遮罩框架：利用深卷積神經網絡(CNN)的優勢，在一個像素級回歸框架下對天空冰雹進行預測，該框架可以產生粗尺度和細尺度的天空蒙版。

天空遮罩框架由一個分段編碼器( Segmentation Encoder )、一個掩模預測解碼器(Mask Prediction Decoder)和一個軟細化模塊(Soft Refinement Module)組成。

其中，編碼器的目的是學習下采樣輸入圖像的中間特征表示。解碼器被用來訓練和預測粗糙的天空。優化模塊同時接收粗糙的天空蒙版和高分辨率輸入，并生成一個高精度的天空蒙版。

運動估計：研究人員直接估計了目標在無窮遠處的運動，并創建了一個用于圖像混合的天空盒(Skybox)，通過將360°天空盒模板圖像混合到透視窗口來渲染虛擬天空背景。

假設天空模式的運動是由一個矩陣M2R33來模擬的。 由于天空中的物體(如云、太陽或月亮)應該位于同一個位置，假設它們的透視變換參數是固定值，并且已經包含在天空盒背景圖像中，然后使用迭代Lucas-Kanade和金字塔方法計算光學流，從而可以逐幀跟蹤一組稀疏特征點。對于每對相鄰幀，給定兩組2D特征點，使用基于RANSAC的魯棒模糊估計來計算具有四個自由度(僅限于平移、旋轉和均勻縮放)的最佳2D變換。

圖像融合：在預測天空蒙版時，輸出像素值越高，表示像素屬于天空背景的概率越高。在常規方法中，通常利用圖像遮罩方程，將新合成的視頻幀與背景進行線性組合，以作為它們的像素級組合權重。

但由于前景色和背景色可能具有不同的色調和強度，因此直接進行上述方法可能會導致不切實際的結果。 因此，研究人員應用重新著色和重新照明技術將顏色和強度從背景轉移到前景。

實驗結果

研究人員采用了天空電視臺上的一個數據集。 該數據集基于AED20K數據集構建而成，包括多個子集，其中每個子集對應于使用不同方法創建真實的填空遮罩。

本次試驗使用“ADE20K+DE+GF”子集進行了培訓和評估，該訓練集中有9187張圖像，驗證集中有885張圖像。以下為基于該方法的視頻天空增強效果：

最左邊是輸入視頻的起始幀，右邊的圖像序列是不同時間段下的輸出效果

天氣轉換的效果，分別為晴到多云，晴到小雨，多云到晴天以及多云到多雨。

需要強調的是，在合成雨天圖像時，研究人員通過屏幕混合在結果的頂部添加動態雨層(視頻源)和霧層。 結果顯示，只需對skybox模板和重新照明因子稍作修改，就可以實現視覺逼真的天氣轉換。

與CycleGAN的比較結果。CycleGAN是一種基于條件生成對抗網絡的非成對圖像到圖像轉換方法。在定性方面，該方法表現出更高的保真度。

第一行為兩個原始的輸入幀;第三行為CycleGAN結果

在定性比較上，PI和NIQE的得分值越低越好。

可以看出，該方法在定量指標和視覺質量方面都優于CycleGAN。

更多論文詳細內容，可參見：https://arxiv.org/abs/2010.11800

相關作者

Zhengxia Zou，是該項研究的第一作者，目前是密歇根大學安娜堡分校的博士后研究員 。

他于2013年和2018年獲得北京航空航天大學的學士學位和博士學位，后加入密歇根大學，其研究興趣包括計算機視覺在遙感、自動駕駛以及視頻游戲中的相關應用。

近幾年，其發表的多篇相關論文被ACM、CVPR以及AAAI頂會收錄。

對于該項研究，Zhengxia Zou認為，除了視頻領域的應用外，還有一個潛在應用空間—數據擴充。 他說，

數據集的規模和質量是計算機視覺技術的基礎，在現實場景中，即使ImageNet、MS-COCO等大規模數據集，在應用中也存在采樣偏差帶來的局限，而該方法對于提高深度學習模型在檢測、分割、跟蹤等各種視覺任務中的泛化能力具有很大的潛力。

不過，目前研究也存在一定的局限性，主要體現在兩個方面，

一是天空遮罩網絡無法檢測到夜間視頻中的天空區域。

二是當視頻中某段時間內沒有天空像素，或者沒有紋理時，天空背景的運動就無法精確建模。

其原因是用于運動估計的特征點被假定為位于同一位置，并且使用距離第二遠的特征點來估計運動會不可避免地引入誤差。

因此，在未來的工作中，研究會著重于三個方向進行優化：第一是自適應天空光照;第二是魯棒背景運動估計;第三是探索基于天空渲染的數據增強對目標檢測和分割的有效性。

關鍵詞：