國立虎尾科技大學 |

Language: English

Back

基於畫面內及畫面間學習之三維卷積神經網路超解析技術 = = Intra-...

謝翔宇

基於畫面內及畫面間學習之三維卷積神經網路超解析技術 = = Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution /

Record Type:	Language materials, printed : Monograph/item
Title/Author:	基於畫面內及畫面間學習之三維卷積神經網路超解析技術 =/ 謝翔宇.
Reminder of title:	Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution /
remainder title:	Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution.
Author:	謝翔宇
Published:	雲林縣 :國立虎尾科技大學 , : 民113.07.,
Description:	[12], 61面 :圖, 表 ; : 30公分.;
Notes:	指導教授: 林易泉.
Subject:	Deep Learning. -
Online resource:	電子資源

基於畫面內及畫面間學習之三維卷積神經網路超解析技術 = = Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution /
謝翔宇

基於畫面內及畫面間學習之三維卷積神經網路超解析技術 =Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution /Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution.謝翔宇. - 初版. - 雲林縣 :國立虎尾科技大學 ,民113.07. - [12], 61面 :圖, 表 ;30公分.

指導教授: 林易泉.

碩士論文--國立虎尾科技大學資訊工程系碩士班.

含參考書目.

從傳統的線性插值法、鄰近像素插值法到生成式網路、對抗式生成網路，近年來隨著深度學習的興起，廣泛的影像超解析方式被提出。傳統方法相較於神經網路，雖能提升畫面解析度，但在畫面物件邊緣及細節方面無法臻至完美，在需求為高品質應用場合下仍然不足。在生成式網路方面近年來多使用深度卷積網路方式進行影像超解析，此種方法有助於單張影像在細節方面的提升，但對於由多張影像構成的視訊而言，此種方法容易使視訊因畫面各自超解析造成不連貫特性，在視訊撥放時因亮度和色度差異出現畫面閃爍、抖動，為了解決此種問題，對於視訊內容應在保持物件邊緣及細節同時注重影像連貫性，完成連續畫面之視訊超解析，此種方法需從低解析度畫面中提取空間特徵資訊、以及相鄰畫面間的時間相關性，如光流、動作資訊，以此重建出高解析度畫面，消除於播放時畫面物件邊緣鋸齒、紋理消失及亮度變化問題。本論文提出將多影像超解析整合至視訊編解碼器中，如H.26x、AV1，稱為MIMVSR。研究如何強化解碼後影像以保有更多影像細節，並在後續利用編解碼時提供的動作向量等相關資訊，配合3維卷積方法進行計算，用以訓練生成式神經網路。在提升解碼影像細節方面，加入小波轉換作為神經網路損失，於補償編解碼過程造成之損失前提下，著重強化畫面結構及線條，完成低解析度畫面強化，以利後續使用增強後畫面及動作向量進行生成式神經網路訓練，完成多影像視訊超解析提升視訊完整性。.

(平裝)Subjects--Topical Terms:

1127423
Deep Learning.

基於畫面內及畫面間學習之三維卷積神經網路超解析技術 = = Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution /
LDR:05043cam a2200241 i 4500 001 1130007
008 241015s2024 ch ak erm 000 0 eng d
035 $a (THES)112NYPI0392020
040 $a NFU $b eng $c NFU $e CCR
041 0 # $a eng $b eng $b chi
084 $a 008.163M $b 0483 113 $2 ncsclt
100 1 $a 謝翔宇 $3 1449041
245 1 0 $a 基於畫面內及畫面間學習之三維卷積神經網路超解析技術 = $b Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution / $c 謝翔宇.
246 1 1 $a Intra-frame and Inter-frame Learning-based 3D Convolutional Neural Network Super-resolution.
250 $a 初版.
260 # $a 雲林縣 : $b 國立虎尾科技大學 , $c 民113.07.
300 $a [12], 61面 : $b 圖, 表 ; $c 30公分.
500 $a 指導教授: 林易泉.
500 $a 學年度: 112.
502 $a 碩士論文--國立虎尾科技大學資訊工程系碩士班.
504 $a 含參考書目.
520 3 $a 從傳統的線性插值法、鄰近像素插值法到生成式網路、對抗式生成網路，近年來隨著深度學習的興起，廣泛的影像超解析方式被提出。傳統方法相較於神經網路，雖能提升畫面解析度，但在畫面物件邊緣及細節方面無法臻至完美，在需求為高品質應用場合下仍然不足。在生成式網路方面近年來多使用深度卷積網路方式進行影像超解析，此種方法有助於單張影像在細節方面的提升，但對於由多張影像構成的視訊而言，此種方法容易使視訊因畫面各自超解析造成不連貫特性，在視訊撥放時因亮度和色度差異出現畫面閃爍、抖動，為了解決此種問題，對於視訊內容應在保持物件邊緣及細節同時注重影像連貫性，完成連續畫面之視訊超解析，此種方法需從低解析度畫面中提取空間特徵資訊、以及相鄰畫面間的時間相關性，如光流、動作資訊，以此重建出高解析度畫面，消除於播放時畫面物件邊緣鋸齒、紋理消失及亮度變化問題。本論文提出將多影像超解析整合至視訊編解碼器中，如H.26x、AV1，稱為MIMVSR。研究如何強化解碼後影像以保有更多影像細節，並在後續利用編解碼時提供的動作向量等相關資訊，配合3維卷積方法進行計算，用以訓練生成式神經網路。在提升解碼影像細節方面，加入小波轉換作為神經網路損失，於補償編解碼過程造成之損失前提下，著重強化畫面結構及線條，完成低解析度畫面強化，以利後續使用增強後畫面及動作向量進行生成式神經網路訓練，完成多影像視訊超解析提升視訊完整性。.
520 3 $a From traditional linear interpolation and nearest neighbor interpolation to generative networks and adversarial generative networks, in recent years, with the rise of deep learning, a wide range of image super-resolution methods have been proposed. Compared to neural networks, traditional methods can enhance the resolution of images, but they fall short of achieving perfection in terms of object edges and details in the image. They still lack adequacy in high-quality application scenarios. In recent years, deep convolutional neural networks have been widely used in the field of image super-resolution within generative networks. This approach aids in enhancing the details of single images. However, for videos composed of multiple frames, this method can lead to discontinuities due to individual frame super-resolution, resulting in flickering and jittering during video playback due to differences in brightness and color. To address this issue, it is essential to maintain both object edges and details while emphasizing image coherence within the video content. Achieving continuous video super-resolution involves extracting spatial feature information from low-resolution frames and exploiting temporal correlations between adjacent frames, such as optical flow and motion information. By doing so, high-resolution frames can be reconstructed, effectively eliminating issues such as jagged edges, texture loss, and brightness variations during playback. This thesis proposes integrating multi-image super-resolution into video codecs such as H.26x and AV1, referred to as Multi-image Motion Vector Super-Resolution (MIMVSR). It explores methods to enhance the decoded images to retain more details and utilizes motion vectors and other related information provided during encoding and decoding, combined with 3D convolution methods, to train generative neural networks. To improve the detail of decoded images, wavelet transform is incorporated as a neural network loss function. This approach compensates for losses incurred during the encoding and decoding process by focusing on strengthening the image structure and lines. The enhanced low-resolution images and motion vectors are then used to train the generative neural network, achieving multi-image video super-resolution and improving video integrity..
563 $a (平裝)
650 # 4 $a Deep Learning. $3 1127423
650 # 4 $a Motion Estimation. $3 1451463
650 # 4 $a Video Super-resolution. $3 1451462
650 # 4 $a Wavelet Transform. $3 1451461
650 # 4 $a 3D Convolutional Neural Networks. $3 1451460
650 # 4 $a Video codec. $3 1451459
650 # 4 $a 深度學習. $3 1127425
650 # 4 $a 運動估計. $3 1451458
650 # 4 $a 視訊超解析. $3 1383964
650 # 4 $a 小波轉換. $3 1083806
650 # 4 $a 3維卷積神經網路. $3 1451457
650 # 4 $a 視訊編解碼器. $3 1451456
856 7 # $u https://handle.ncl.edu.tw/11296/dr5fc5 $z 電子資源 $2 http