靜網PWA視頻評論

視頻監控中運動圖像序列三維重建

2023年10月29日

- txt下載

胡紅權
摘 要: 視頻監控中運動圖像序列三維重建一直是三維重建研究的重點,其重建效果會對運動圖像的清晰度產生影響。但當前三維重建方法都是通過獲取二維視頻監控中的運動圖像序列,通過基於Java Applet與Java Application編程,採用體繪製法完成視頻監控中二維運動圖像序列的三維重建,該方法無法保證重建後的圖像質量,導致圖像清晰度不高。為此,提出基於圖像特徵點提取與匹配的視頻監控中運動圖像序列三維重建方法。首先,對視頻監控中運動圖像序列特徵點進行檢測,並對特徵點一定鄰域內圖像的紋理、結構以及其他特徵進行統計,通過對運動圖像序列特徵點的特徵比較,完成運動圖像序列特徵點提取與匹配;然後,對視頻監控中運動圖像序列的結構和運動初始化,並進行視頻監控相機的自標定,實現對視頻監控中運動圖像序列的三維重建。實驗結果表明,所提方法能夠有效提高三維重建後視頻監控中運動圖像序列的清晰度,減少三維重建流程,提高運動圖像序列重建效率,具有良好的使用價值。
關鍵詞: 視頻監控; 清晰度; 特徵點; 匹配; 運動圖像序列; 三維重建
中圖分類號: TN911.73?34; TP391 文獻標識碼: A 文章編號: 1004?373X(2018)03?0067?04
Abstract: The three?dimensional (3D) reconstruction of moving image sequences in video surveillance is always the research importance of 3D reconstruction. But the current 3D reconstruction method adopts the volume rendering method to realize the 3D reconstruction of two?dimensional motion image sequences in video surveillance by means of acquiring the moving image sequences in two?dimensional video surveillance, and adopting Java Applet and Java Application programming, which can′t guarantee the reconstructed image quality, and has low image resolution. Therefore, an image feature points extraction and matching based 3D reconstruction method of moving image sequences in video surveillance is proposed. The feature points of motion image sequences in video surveillance are detected, and their image texture in a certain neighborhood, structure and other characteristics are calculated. The characteristics of the feature points of the motion image sequences are compared to realize the feature points extraction and matching of feature points of the motion image sequence. The structure and motion of the moving image sequence in video surveillance are initialized, and the self?calibration of the video surveillance camera is performed to realize the 3D reconstruction of the moving image sequence in video surveillance. The experimental results show that the method can increase the definition of the reconstructed moving image sequences in video surveillance effectively, reduce the 3D reconstruction process, improve the reconstruction efficiency of moving image sequence, and has high application value.
Keywords: video surveillance; definition; feature point; matching; moving image sequence; 3D reconstruction
0 引 言
隨著科技的發展,人們生活水平的提高,對圖像視覺產生更高要求,為滿足人們的視覺要求,三維重建技術應運而生[1]。隨著對三維重建技術研究的深入,三維重建技術趨於成熟,開始在各領域中應用[2]。當應用在視頻監控運動圖像序列三維重建中時,有利於提高視頻監控圖像的清晰度,因此視頻監控中運動圖像序列的三維重建越來越受到重視[3]。目前運動圖像序列三維重建大多通過開發交互操作的三維重建系統,利用射影幾何中的交比不變性理論,通過監控相機內外部參數和像差修正參數分離的標定方法,實現視頻監控中運動圖像序列的三維重建[4]。這種方法需要開發三維重建系統,不但重建成本高,且不易於操作[5]。該方法引起了重大反響,對該問題的研究也成為相關專家學者研究的重點,並取得了豐碩的研究成果[6?7]。
文獻[8]通過將二維視頻監控中運動圖像序列數據直接堆壘起來,利用閾值分割、線性內插等方法,獲得直觀性較好的三維視頻監控中運動圖像序列。通過對重建圖像進行旋轉、截取等操作,獲得了不同方向的三維圖形。但這種方法計算過程過於簡單,無法保證三維重建後視頻監控中運動圖像序列的質量。文獻[9]提出基於分割的視頻監控中運動圖像序列三維重建方法,但該方法存在一定的主觀性。文獻[10]提出基於多幅圖像的視頻監控中運動圖像序列三維重建方法,利用角點檢測算法提取視頻監控中運動圖像序列的邊緣和內容特徵,通過將極線約束和SIFT特徵描述運算元相結合,完成特徵點匹配,從而得到特徵點的三維坐標。根據這些坐標,完成視頻監控中運動圖像序列三維重建,但這種方法過程複雜,花費時間長,難以被廣泛使用。
針對上述問題,提出基於圖像特徵點提取與匹配的視頻監控中運動圖像序列三維重建方法。實驗結果表明,所提方法能夠提高三維重建後運動圖像序列的清晰度,減少三維重建流程,提高運動圖像序列三維重建效率。
1 視頻監控中運動圖像序列三維重建
三維重建可歸結為利用圖像上的像素點恢復相機位置,投影矩陣以及三維空間中點的坐標。因此,需要對視頻監控中運動圖像序列進行三維重建,視頻監控中運動圖像序列特徵點提取與匹配是前提,然後通過線性時域對準,完成視頻監控中運動圖像序列的三維重建。
1.1 視頻監控中運動圖像序列特徵點提取與匹配
完成視頻監控中運動圖像序列特徵點的提取與匹配工作。首先對視頻監控中運動圖像序列的特徵點進行檢測,分析特徵點的空間位置信息以及尺度信息,並統計特徵點在一定鄰域內圖像的紋理、結構以及其他特徵,並將統計值組合,將組合的統計值作為特徵點的特徵向量,使視頻監控中運動圖像序列特徵點具備可區分性,最後利用特徵點特徵向量的相似度,將相似度最高並滿足一定閾值的點作為對應匹配點,從而完成視頻監控中運動圖像序列特徵點匹配。
首先利用LoG尺度空間特徵點檢測運算元完成視頻監控中運動圖像序列特徵點檢測,其用公式表示為:
式中分別表示空間內坐標。對式(1)進行拉普拉斯變換並規範化得到:
式中表示拉普拉斯變換係數。設定拉普拉斯響應值為視頻監控中運動圖像序列特徵點判斷指標,當導數為0時,對式(2)求極值,得到:
將其拉普拉斯響應值與空間相鄰的26個點的響應值做比較,通過式(3)確定空間位置和尺度空間巔峰值,完成視頻監控中運動圖像序列特徵點檢測。
設定表示視頻監控中運動圖像序列高斯尺度空間,通過對原始視頻監控中運動圖像序列的尺度二維高斯函數做卷積運算得到:
式中:表示視頻監控中運動圖像序列方向卷積操作;表示特徵點平面坐標;表示視頻監控中運動圖像序列尺度,其大小與視頻監控中運動圖像序列平滑程度成反比。通過對高斯差分視頻監控中運動圖像序列進行非最大值抑制,完成視頻監控中運動圖像序列特徵點的尺度空間和位置空間定位。
式中:表示視頻監控中運動圖像序列兩個相鄰尺度空間的因子倍數。根據視頻監控中運動圖像序列特徵點尺度空間和位置空間定位,利用SURF方法進行特徵點匹配。通過積分圖生成特徵向量,利用雙數計算結果降低運算量,避免特徵向量生成時對圖像重複運算。
通過上述論述,完成視頻監控中運動圖像序列特徵點的檢測,根據視頻監控中運動圖像序列特徵點的特徵進行比較,完成特徵匹配。
1.2 視頻監控中運動圖像序列三維重建
在1.1節論述的基礎上,通過視頻監控中運動圖像序列結構和運動的初始化,實現視頻監控中運動圖像序列結構和運動的恢復。
選擇圖像匹配點多且圖像之間距離較遠的兩幅視頻監控中的運動圖像。為滿足圖像距離要求,通過從經過平均平面變換的點和目標圖像中的對應點中值距離對其進行計算。
首先對主框架進行初始化,利用下式進行計算:
然後對結構進行初始化,完成對測量點調整矯正。其矯正公式為:
式中:表示圖像的矯正量。在圖像上的矯正量很小的情況下,該近似是準確的,且計算量很小,提高了視頻監控中運動圖像序列三維重建的準確度。
在對視頻監控中運動圖像序列特徵點進行矯正後,通過線性三角形法來初始化與其對應的三維空間的點。在每一幅視頻監控的運動圖像序列中,分別測量將這些方程組合成的形式,得到關於的線性方程,將進行擴展,得到以下公式,其中前兩個是線性獨立的。
式中:表示的行,關於的向量是線性的,形成與近似的方程,得到:
式(12)的最小二乘解則為初始化的視頻監控中運動圖像序列三維空間點坐標的齊次表示。
然後對視頻監控中的相機進行自標定,自標定指直接由未標定的多幅圖像完成視頻監控相機內參數的設定,從而根據視頻監控圖像完成度量重構的計算,提高計算的靈活性。
設定表示視頻監控相機的視點,表示三維空間坐標系中某一點的空間坐標。視頻監控相機的有效焦距表示圖像平面與光心間的距離,表示視頻監控相機模型下點坐標,從空間的三維坐標到平面坐標的轉換步驟可分為兩步。
對三維空間坐標繫到視頻監控相機坐標系的坐標轉換,可表示成:
式中:表示視頻監控相機的旋轉矩陣;表示視頻監控相機的平移向量,可表示為:
式中:分別表示視頻監控中運動圖像序列三維點在坐標變換過程中沿軸、軸和軸三個方向的平移量。
在視頻監控中,相機模型下透視投影變換可表示為:
通過上述方法,完成視頻監控中運動圖像序列的坐標轉換,實現視頻監控中運動圖像序列的紋理映射,從而完成視頻監控中運動圖像序列三維重建。
2 實驗結果與分析
為了證明本文提出的基於圖像特徵點提取與匹配的視頻監控中運動圖像序列三維重建方法的有效性,進行仿真實驗,實驗在Windows 7 Ultimate的作業系統下進行,CPU型號是3.2 GHz的Intel Core I3,運行平台為Microsoft Visual Studio.NET 2010。通過將本文提出的三維重建方法與文獻[6?7]所提三維重建方法進行對比,完成本次實驗。
首先對三種視頻監控中運動圖像序列三維重建方法重建後的圖像清晰度進行對比,設清晰度的單位為像素,其計算過程如下:
式中:表示通過種方法進行三維重建的清晰度,分別表示種方法的轉換係數;表示視頻監控相機的旋轉矩陣;表示的矯正向量。
通過計算,得到三種方法進行重建後的圖像清晰度對比結果,如表1所示。
為了更明顯地表示三種方法的重建結果,將表1轉換成折線圖形式,得到的對比結果如圖1所示。
從表1,圖1可以看出,無論通過哪種方法進行三維重建,都有利於提高視頻監控中運動圖像序列的清晰度,且重建後視頻監控中運動圖像序列清晰度隨著原視頻監控中運動圖像序列清晰度的提高而提高,但本文所提方法對應的圖像清晰度隨著原視頻監控中運動圖像序列清晰度的提高,提高速度相比文獻[6?7]較快,且從三條折線的起點可以看出,本文所提方法進行三維重建的原始清晰度較高。
對三種視頻監控中運動圖像序列三維重建方法進行時間對比。為保證實驗的準確性,進行了500次實驗,以每50次實驗結果作為一組數據,得到平均耗時,具體計算過程如下所示:
式中:代表實驗結果次數;表示實驗花費的總時間;表示實驗中的休息時間。得到三種視頻監控中運動圖像序列三維重建方法耗時對比,對比結果如圖2所示。
圖2中,折線的起點表示三種方法的理論耗時。通過圖2可以看出,本文所提方法花費時間較少,且實際耗時與理論耗時差距小,說明利用此方法進行視頻監控中運動圖像序列三維重建的重建效果較穩定。
3 結 語
隨著科技水平和生活質量的提高,人們對視覺要求越來越強烈。對視頻監控中運動圖像序列三維重建可提高視頻監控中運動圖像序列視覺效果。本文所提基於圖像特徵點提取與匹配的視頻監控中運動圖像序列三維重建方法,有利於降低三維重建耗時,提高重建後圖像質量,具有良好的使用價值。
參考文獻
[1] 高欣健,張旭東,高亞捷,等.基於單幅灰度圖像的快速三維重建方法研究[J].機械工程學報,2014,50(2):42?47.
GAO Xinjian, ZHANG Xudong, GAO Yajie, et al. Fast method of 3D surface reconstruction based on single gray image [J]. Journal of mechanical engineering, 2014, 50(2): 42?47.
[2] 趙春宇,孫偉,陳許蒙.微慣性傳感器加速的序列圖像三維重建方法[J].光學精密工程,2016,24(10):559?566.
ZHAO Chunyu, SUN Wei, CHEN Xumeng. 3D reconstruction of sequence images accelerated by micro inertial sensors [J]. Optics and precision engineering, 2016, 24(10): 559?566.
[3] 羅宇,宋歌,楊紅雨.基於圖像識別的建築物三維重建[J].計算機工程與設計,2015,36(1):191?196.
LUO Yu, SONG Ge, YANG Hongyu. 3?D rebuilding based on recognition of image [J]. Computer engineering and design, 2015, 36(1): 191?196.
[4] 魏楚亮,羅培羽,洪曉斌,等.基於單張照片模式的三維圖像重建新方法研究[J].中國測試,2014,40(2):23?26.
WEI Chuliang, LUO Peiyu, HONG Xiaobin, et al. Research on a new method of 3D image reconstruction based on single photo mode [J]. China measurement & test, 2014, 40(2): 23?26.
[5] 張丹,呂學強,肖詩斌,等.基於輪廓線法的汽車類外觀專利圖像三維重建[J].計算機應用與軟體,2015,32(4):170?174.
ZHANG Dan, L? Xueqiang, XIAO Shibin, et al. 3D reconstruction of automobile design patent images based on contour algorithm [J]. Computer applications and software, 2015, 32(4): 170?174.
[6] 丁偉利,陳瑜,馬鵬程,等.基於陣列圖像的自適應光場三維重建算法研究[J].儀器儀表學報,2016,37(9):2156?2165.
DING Weili, CHEN Yu, MA Pengcheng, et al. Study on adaptive light field 3D reconstruction algorithm based on array image [J]. Chinese journal of scientific instrument, 2016, 37(9): 2156?2165.
[7] 張聰炫,陳震,黎明.單目圖像序列光流三維重建技術研究綜述[J].電子學報,2016,44(12):3044?3052.
ZHANG Congxuan, CHEN Zhen, LI Ming. Review of the 3D reconstruction technology based on optical flow of monocular image sequence [J]. Acta electronica sinica, 2016, 44(12): 3044?3052.
[8] 沈振一,孫韶媛,趙海濤.基於PP?MRF模型的單目車載紅外圖像三維重建[J].東華大學學報(自然科學版),2015,41(3):341?347.
SHEN Zhenyi, SUN Shaoyuan, ZHAO Haitao. Three?dimensional reconstruction from monocular vehicular infrared images based on PP?MRF model [J]. Journal of Donghua University (natural science edition), 2015, 41(3): 341?347.
[9] 於春和,祁樂陽.基於HALCON的雙目攝像機標定[J].電子設計工程,2017,25(19):190?193.
YU Chunhe, QI Leyang. Binocular camera based on HALCON [J]. Electronic design engineering, 2017, 25(19): 190?193.
[10] 隋巧燕,董洪偉,劉蕾.雙目下點雲的三維人臉重建[J].現代電子技術,2015,38(4):102?105.
SUI Qiaoyan, DONG Hongwei, LIU Lei. 3?D point cloud face reconstruction with binocular system [J]. Modern electronics technique, 2015, 38(4): 102?105.

收藏

相關推薦

清純唯美圖片大全

字典網 - 試題庫 - 元問答 - 简体 - 頂部

Copyright © cnj8 All Rights Reserved.