1. 首頁 > 生活 > >

視頻格式轉換器破解 視頻格式轉換器破解版下載

小知識



文章插圖
視頻格式轉換器破解 視頻格式轉換器破解版下載

文章插圖
圖像超分辨率技術指的是根據低分辨率圖像生成高分辨率圖像的過程，該技術希望根據已有的圖像信息重構出缺失的圖像細節 。視頻超分辨率技術則更加復雜，不僅需要生成細節豐富的一幀幀圖像，還要保持圖像之間的連貫性 。
在一篇名為「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的論文中，來自慕尼黑工業大學的研究人員提出了一種用于實現視頻超分辨率的新型 GAN——TecoGAN 。
此前，已經有開發者利用 ESRGAN 這種視頻超分辨率模型重制了很多單機游戲，包括經典的重返德軍總部、馬克思·佩恩和上古卷軸 III：晨風等等 。重制的高清版游戲在畫質上有很好的效果，而且還保留了原始紋理的美感與風格 。
以下三幅動圖的右半部分是用 TecoGAN 生成的，說不定用它來重制單機游戲會有更驚人的效果 。該方法能夠生成精細的細節，較長的生成視頻序列也不會影響其時間連貫度 。
圖中，動物皮的網格結構、蜥蜴的圖案和蜘蛛背部的斑點無不彰顯該方法的效果 。該方法中的時空判別器在引導生成器網絡輸出連貫細節方面居功至偉 。
這個視頻超分辨率 GAN 牛在哪里？
自然圖像超分辨率是圖像和視頻處理領域的一大經典難題 。對于單一圖像超分辨率（SISR），基于深度學習的方法可以達到當前最佳的峰值信噪比（PSNR），而基于 GAN 的架構在感知質量方面實現了重大改進 。
在視頻超分辨率（VSR）任務中，現有的方法主要使用標準損失函數，如均方差損失，而不是對抗損失函數 。類似地，對結果的評估仍然聚焦于基于向量范數的指標，如 PSNR 和結構相似性（Structural Similarity，SSIM）指標 。與 SISR 相比，VSR 的主要難點在于如何獲取清晰的結果，且不會出現不自然的偽影 ?；诰讲顡p失，近期的 VSR 任務使用來自低分辨率輸入的多個幀 [13]，或重用之前生成的結果 [28] 來改進時間連貫度 。
盡管對抗訓練可以改善單個圖像的視覺質量，但它并不常用于視頻 。在視頻序列案例中，我們不僅要研究任意的自然細節，還要研究可以穩定形式基于較長圖像序列生成的細節 。
該研究首次提出了一種對抗和循環訓練方法，以監督空間高頻細節和時間關系 。在沒有真值動態的情況下，時空對抗損失和循環結構可使該模型生成照片級真實度的細節，同時使幀與幀之間的生成結構保持連貫 。研究者還發現了一種使用對抗損失的循環架構可能會出現的新型模型崩潰，并提出了一種雙向損失函數用于移除對應的偽影 。
該研究的核心貢獻包括：
提出首個時空判別器，以獲得逼真和連貫的視頻超分辨率；提出新型 Ping-Pong 損失，以解決循環偽影；從空間細節和時間連貫度方面進行詳細的評估；提出新型評估指標，基于動態估計和感知距離來量化時間連貫度 。
論文：Temporally Coherent GANs for Video Super-Resolution (TecoGAN)
論文鏈接：https://arxiv.org/pdf/1811.09393.pdf
摘要：對抗訓練在單圖像超分辨率任務中非常成功，因為它可以獲得逼真、高度細致的輸出結果 。因此，當前最優的視頻超分辨率方法仍然支持較簡單的范數（如 L2）作為對抗損失函數 。直接向量范數作損失函數求平均的本質可以輕松帶來時間流暢度和連貫度，但生成圖像缺乏空間細節 。該研究提出了一種用于視頻超分辨率的對抗訓練方法，可以使分辨率具備時間連貫度，同時不會損失空間細節 。
該研究聚焦于新型損失的形成，并基于已構建的生成器框架展示了其性能 。研究者證明時間對抗學習是獲得照片級真實度和時間連貫細節的關鍵 。除了時空判別器以外，研究者還提出新型損失函數 Ping-Pong，該函數可以有效移除循環網絡中的時間偽影，且不會降低視覺質量 。之前的研究并未解決量化視頻超分辨率任務中時間連貫度的問題 。該研究提出了一組指標來評估準確率和隨時間變化的視覺質量 。用戶調研結果與這些指標判斷的結果一致 ?？傊摲椒▋炗谥暗难芯?，它能夠得到更加細節化的圖像，同時時間變化更加自然 。
模型方法
該研究提出的 VSR 架構包含三個組件：循環生成器、流估計網絡和時空判別器 。生成器 G 基于低分辨率輸入循環地生成高分辨率視頻幀 。流估計網絡 F 學習幀與幀之間的動態補償，以幫助生成器和時空判別器 D_s,t 。
訓練過程中，生成器和流估計器一起訓練，以欺騙時空判別器 D_s,t 。該判別器是核心組件，因為它既考慮空間因素又考慮時間因素，并對存在不現實的時間不連貫性的結果進行懲罰 。這樣，就需要 G 來生成與之前幀連續的高頻細節 。訓練完成后，D_s,t 的額外復雜度不會有什么影響，除非需要 G 和 F 的訓練模型來推斷新的超分辨率視頻輸出 。
圖1
圖 2