國立虎尾科技大學 |

登入

回首頁

基於體素的多模態融合網路應用於三維物件偵測 = = VMNet:Voxe...

張皓鈞

基於體素的多模態融合網路應用於三維物件偵測 = = VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection /

紀錄類型:	書目-語言資料,印刷品 : Monograph/item
正題名/作者:	基於體素的多模態融合網路應用於三維物件偵測 =/ 張皓鈞.
其他題名:	VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection /
其他題名:	VMNet :
作者:	張皓鈞
出版者:	雲林縣 :國立虎尾科技大學 , : 民113.07.,
面頁冊數:	[8], 44面 :圖, 表 ; : 30公分.;
附註:	指導教授: 陳政宏.
標題:	Voxelization. -
電子資源:	電子資源

基於體素的多模態融合網路應用於三維物件偵測 = = VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection /
張皓鈞

基於體素的多模態融合網路應用於三維物件偵測 =VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection /VMNet :Voxel-based Multimodal Fusion Networks for 3D Object Detection.張皓鈞. - 初版. - 雲林縣 :國立虎尾科技大學 ,民113.07. - [8], 44面 :圖, 表 ;30公分.

指導教授: 陳政宏.

碩士論文--國立虎尾科技大學電機工程系碩士班.

含參考書目.

本研究提出了一種基於體素的多模態融合網路，應用於三維物件偵測，以提高偵測的準確性和穩定性。傳統的三維物件偵測方法往往依賴單一模態的資訊，如點雲資訊或影像資訊，這種方法在處理複雜場景時可能存在訊息不足的問題。本研究的方法結合了點雲和影像資料，充分利用兩種模態的優勢，解決了上述的問題，以實現更精確的物件偵測。首先，我們將點雲資訊進行體素化處理，轉換成體素網格，從而有效地整合無序的三維空間點雲訊息。接著，利用深度學習網路對點雲和影像資訊進行特徵提取。在這個過程中，我們在每一層骨幹網路提取的特徵圖與影像特徵圖進行融合，形成多模態的特徵表示。為了有效融合點雲和影像特徵，我們使用了 LI-Fusion 融合模塊。該模塊能夠在保留各自模態特徵的同時，實現深度的特徵融合。實驗結果顯示，相較於原始網路的融合方法，我們的方法在偵測準確度上有顯著提升。此外，我們增加了融合的次數，將原本的一次融合提升至三次，逐步提取更高層次的特徵，使得網路能夠更好地捕捉物件的細節特徵，從而提高偵測的準確性。此外，我們將二維鳥瞰圖的骨幹網路架構替換為殘差骨幹網路架構。殘差網路能夠有效地減輕梯度消失的問題，並在深層網路中保留更多的特徵訊息。實驗結果表明，這一改進同樣顯著提升了物件偵測的性能。最後在 KITTI 公開資訊集上的實驗結果證明，我們的方法相較於先進的網路均達到了優異的性能，並且在偵測準確度方面相較於原始網路 Focals Conv-F，在中等和困難的模式下總體提升了 1.21%和 1.44%。這表明我們的方法在三維物件偵測準確性和穩定性方面都有明顯的改進。.

(平裝)Subjects--Topical Terms:

1451809
Voxelization.

基於體素的多模態融合網路應用於三維物件偵測 = = VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection /
LDR:05137cam a2200241 i 4500 001 1129854
008 241015s2024 ch ak erm 000 0 chi d
035 $a (THES)112NYPI0441028
040 $a NFU $b chi $c NFU $e CCR
041 0 # $a chi $b chi $b eng
084 $a 008.165M $b 1128:2 113 $2 ncsclt
100 1 $a 張皓鈞 $3 1448900
245 1 0 $a 基於體素的多模態融合網路應用於三維物件偵測 = $b VMNet:Voxel-based Multimodal Fusion Networks for 3D Object Detection / $c 張皓鈞.
246 1 1 $a VMNet : $b Voxel-based Multimodal Fusion Networks for 3D Object Detection.
250 $a 初版.
260 # $a 雲林縣 : $b 國立虎尾科技大學 , $c 民113.07.
300 $a [8], 44面 : $b 圖, 表 ; $c 30公分.
500 $a 指導教授: 陳政宏.
500 $a 學年度: 112.
502 $a 碩士論文--國立虎尾科技大學電機工程系碩士班.
504 $a 含參考書目.
520 3 $a 本研究提出了一種基於體素的多模態融合網路，應用於三維物件偵測，以提高偵測的準確性和穩定性。傳統的三維物件偵測方法往往依賴單一模態的資訊，如點雲資訊或影像資訊，這種方法在處理複雜場景時可能存在訊息不足的問題。本研究的方法結合了點雲和影像資料，充分利用兩種模態的優勢，解決了上述的問題，以實現更精確的物件偵測。首先，我們將點雲資訊進行體素化處理，轉換成體素網格，從而有效地整合無序的三維空間點雲訊息。接著，利用深度學習網路對點雲和影像資訊進行特徵提取。在這個過程中，我們在每一層骨幹網路提取的特徵圖與影像特徵圖進行融合，形成多模態的特徵表示。為了有效融合點雲和影像特徵，我們使用了 LI-Fusion 融合模塊。該模塊能夠在保留各自模態特徵的同時，實現深度的特徵融合。實驗結果顯示，相較於原始網路的融合方法，我們的方法在偵測準確度上有顯著提升。此外，我們增加了融合的次數，將原本的一次融合提升至三次，逐步提取更高層次的特徵，使得網路能夠更好地捕捉物件的細節特徵，從而提高偵測的準確性。此外，我們將二維鳥瞰圖的骨幹網路架構替換為殘差骨幹網路架構。殘差網路能夠有效地減輕梯度消失的問題，並在深層網路中保留更多的特徵訊息。實驗結果表明，這一改進同樣顯著提升了物件偵測的性能。最後在 KITTI 公開資訊集上的實驗結果證明，我們的方法相較於先進的網路均達到了優異的性能，並且在偵測準確度方面相較於原始網路 Focals Conv-F，在中等和困難的模式下總體提升了 1.21%和 1.44%。這表明我們的方法在三維物件偵測準確性和穩定性方面都有明顯的改進。.
520 3 $a In this paper, we propose a voxel-based multi-modal fusion network for 3D object detection to enhance detection accuracy and stability. Traditional 3D object detection methods often rely on information from a single modality, such as point cloud data or image data, which can lead to insufficient information when dealing with complex scenarios. Our method combines point cloud and image data, leveraging the strengths of both modalities to address this issue and achieve more precise object detection. First, we voxelize the point cloud information, converting it into a voxel grid to effectively integrate unordered 3D spatial point cloud data. Next, we use a deep learning network to extract features from both point cloud and image information. During this process, we fuse the feature maps extracted at each layer of the backbone network with the image feature maps to form a multi-modal feature representation. To effectively fuse point cloud and image features, we use the LI-Fusion module. This module allows for deep feature fusion while retaining the respective characteristics of each modality. Experimental results show that our method significantly improves detection accuracy compared to the original network's fusion method. Additionally, we increased the number of fusions from once to three times, gradually extracting higher-level features, enabling the network to better capture detailed object features, thereby improving detection accuracy. Furthermore, we replaced the 2D bird's-eye view backbone network architecture with a residual backbone network architecture. The residual network effectively mitigates the gradient vanishing problem and retains more feature information in deep networks. Experimental results demonstrate that this improvement also significantly enhances object detection performance. Finally, experiments on the KITTI public dataset prove that our method achieves superior performance compared to advanced networks and improves overall detection accuracy by 1.21% and 1.44% in moderate and hard modes, respectively, compared to the original Focals Conv-F network. This indicates that our method significantly improves 3D object detection accuracy and stability..
563 $a (平裝)
650 # 4 $a Voxelization. $3 1451809
650 # 4 $a Point cloud and Image data. $3 1451808
650 # 4 $a Multimodal fusion network. $3 1451807
650 # 4 $a 3D object detection. $3 1451806
650 # 4 $a 體素化處理. $3 1451805
650 # 4 $a 點雲和影像資訊. $3 1451804
650 # 4 $a 多模態特徵融合網路. $3 1451803
650 # 4 $a 三維物件偵測. $3 1451802
856 7 # $u https://handle.ncl.edu.tw/11296/qn8433 $z 電子資源 $2 http