第1章 緒論
1.1 課題研究的背景和意義
如今社會，技術越來越發達，為了應對頻繁發生的刑事案件、恐怖事件，人臉識別技術得到了眾多研究者的青睞。人臉識別技術按照應用領域的不同可以分作以下的兩種類別：應對於恐怖案件、犯罪事件或者證據獲取等警方所用的技術，和應對於公司制度保障、商業機密方面的民用技術。前面一種的技術的運用相比於後一種更加繁瑣，而且對準確率的要求會更加嚴格。後一種的運用場景與第一種相比，主要是為了減少人力方面的付出，故准曲率方面的要求會寬鬆一些。在判斷的運算中，計算機利用人臉識別軟體對輸入信息中的數據做數據採集、面部定位、預操作、 和數據匹配等操作，從而甄別圖像中的人。 人臉識別技術這一研究方向目前的成果。
1．香港研究並發明了極其準確的臉部認證軟體
最近一段時間，香港中文大學的專家研究並發明創造了目前世界上最準確的臉部認證軟體。本軟體的準確率極高，有可能為人們在安全性領域帶動巨大的革命。這個軟體在世界測試的過程中，準確率可以達到 99%以上，高過目前世界上所以的此類軟體，並且也高於人們自身的97%的準確率。
測試中，該軟體可以從幾千張的人臉圖片中，準確的找到為同一個人臉的圖像，並且其抗環境因素干擾的能力特彆強，不會受到光線等因素的干擾。
2．英國警方測試世界最快人臉識別技術
英國如今有著多於六百多萬的攝像頭在一起運行，所以英國成為了最受“注視”的國家。為了進一步的讓各種犯罪案件的發生率降低，其如今已經確定作為英國第一個使用 Neoface 的官方部門，其期望使用這個方式完全轉變抓捕犯人的方法，進而提升效率。此系統的優勢在於其識別速度非常快，能在 9 萬多的圖片中，快速的識別出上萬個要識別的人臉。
1.2 人臉識別技術的研究現狀與展望
1.2.1 研究現狀與應用
針對二維人臉識別技術，國外投入在這個領域的時間比較早，並且投入了許多精力，故已經取得了很大的進展。伴隨科技的進步，許多該技術所依賴的領域已經可以投入使用，故近幾年，不但算法研究上取得了比較大的進步，而且許許多多成熟的應用也出現在人們的視野中，為人們的生活提供者便利。鑒於此，國內眾多學者也相繼開始對人臉識別技術進行研究。其中主要包括清華大學、哈爾濱工業大學、北京工業大學等。目前主要的研究方法有：基於幾何特徵的人臉識別方法；基於主成分分析的人臉識別方法；基於奇異值分解的人臉識別方法；隱馬爾科夫模型方法；基於圖像重建的人臉識別方法。
近幾年來，二維人臉識別的研究算法更多的傾向於基於稀疏表示的識別方法，正因為稀疏表示方法本身存在的優勢，自2009年稀疏保持投影方法出現後，越來越多的改進方法開始出現，如加權稀疏表示，結構稀疏表示等方法，最近陳麗霞等又通過融合監督將維的方法對稀疏表示進行改進，取得了很好的識別效果。然而，雖然二維人臉識別技術已經取得的一定的成果，但是許多算法的研究都是在特定環境在進行的，仍然無法克服因光照、姿態、表情等環境因素的影響，也就導致關於二維人臉識別技術早已出現嚴重瓶頸，制約著其進一步的發展。
三維識別儘管把該技術帶往了一個幾乎可以說是全新的領域，不過其所面臨的困難也是巨大的。主要有以下幾種：1．信息來源方面的困難。2．海量存儲和計算的困難。3．對人的生理認識的不足。4．實現方式和手段的不足。
第2章 人臉識別相關理論
2.1 引言
在人臉識別過程中主要涉及三個部分，分別為人臉檢測、特徵提取以及分類識別。本文改進算法主要針對特徵提取和關鍵特徵點定位兩個方面，故這裡對改進算法中相關理論知識進行介紹。一方面是針對特徵提取過程中，由於數據維數過低包含信息較少或在原始的線性空間中數據線性不可分，通常採用核方法將原始數據映射到高維空間，使其變得線性可分。故這裡對一些基本的核方法進行介紹。另一方面針對本文的關鍵特徵點定位算法，檢測到人臉信息後，我們往往要對人臉作預處理操作如濾波，這也是必不可少的一步，不僅影響特徵點定位，也會影響後續提取和分類的效果。因此人臉圖像預處理越來越得到研究學者們的重視，以保證特徵提取算法不會因基礎數據問題導致識別效果不佳。有效的預處理操作不僅能提高算法訓練樣本的可靠性和準確性，同時能夠減少後面操作的實現複雜度，故這裡對濾波去噪方法進行介紹，對比分析選取恰當的濾波方法。
2.2濾波去噪
恰當的預處理方法對於人臉識別算法的研究相當重要。通過預處理方法可以去除人臉圖像中存在的孤立噪聲，背景、服飾等干擾信息，盡最大可能減少環境因素對圖像的影響，保留並增強有用的數據信息，從而提高人臉檢測性，並提高圖像信息質量以利於後續提取識別。
考慮到圖像中包含的各種噪聲干擾，我們需要採用有效的方法對圖像執行濾波降噪處操作，來提高圖像整體質量，以便於達到更好的識別效果，使用濾波的方式來消除噪聲是非常有效的，通過對圖像線性濾波處理能夠降低或消除圖像中存在的一系列噪聲，其中較為常見的噪聲有顆粒噪聲、高斯噪聲、椒鹽噪聲等。通常情況下我們首先需要分析判斷圖像中噪聲所屬類型，然後再根據噪聲類型選取合適的濾波方法。線性濾波方法使用簡便且執行效率較高，但是細節處理不夠完善，易丟失邊緣信息。相對於其他方法而言平滑濾波方法使用較為普遍，一是不能損壞圖像的輪廓及邊緣等重要信息；二是使圖像清晰視覺效果好。下面具體描述三種常見的濾波方法。
1．線性濾波
常見線性濾波的方式有均值濾波、高斯濾波、維納濾波等，接下來重點介紹均值和高斯濾波。 高斯濾波使用較多，選擇它作為濾波器主要由於它屬於低通濾波，這種方法通過計算標準差對圖像平滑處理。將濾波區域像素點作加權處理，加權規則為越接近中心像素點分配權重值越大，然後再作平均計算。因此，同其它方法相比，通過該方法進行平滑處理依然能保留更清晰的邊緣輪廓信息，不會失真。
另外一種典型的方式就是均值濾波，它通過以某像素點為中心給圖像設置模板，然後對這個模板上的所有像素點作均值，並把該像素點的值賦值為計算得到的均值，具體如圖2-2所示。
然而採用均值濾波的方法通常需要對像素點做均值操作，這樣就會導致整個圖像中所有像素點都是通過獲取周圍的點均值得到的，使得圖像整體上變得不清晰。因此為了減少均值濾波所帶來的不良影響，通常要對這種方法作一些改進，如對其進行加權處理，然而這種加權濾波方法的實現效果並不容樂觀。所以為了本質上提高圖像濾波效果，一種新的濾波去噪方式出現了，那就是中值濾波。
第3章 核的正交稀疏重構保持投影 ................. 16
3.1 引言 ............... 16
3.2 稀疏保留投影算法 .................... 16
第4章 三維人臉數據關鍵特徵點定位算法 ................. 25
4.1 引言 ..................... 25
第5章 基於關鍵特徵點的多信息融合人臉識別算法 .............. 37
5.1 引言 .................... 37
第5章 基於關鍵特徵點的多信息融合人臉識別算法
5.1 引言
近些年來基於三維點雲數據的人臉識別算法的研究越來越引起人們的關注，然而由於硬體設施的制約，對於三維人臉識別的研究一直處於理論階段。不過隨著科技發展三維掃描儀等設備的普及，使得實時化的三維人臉識別系統成為可能，然而三維人臉數據計算和存儲困難依然存在。所以對將二維和三維兩種模態信息融合起來的人臉識別算法研究已經開始成為人們關注的熱點，充分利用三維點雲模型與二維人臉信息各自的優勢，能夠有效的克服因光照、姿態、表情這三大因素的變化導致的二維人臉識別研究的限制，以便增強特徵提取的魯棒性和有效性。
經過多年的發展，在 NFC、國家自然科學基金等資助下，國內許多研究機構和組織對多種模態信息融合的人臉識別算法進行了相關研究，他們採用多種不同的方式將兩種模態的信息(2D-3D)有效融合， 克服了因外界條件影響導致的非線性問題，並取得了理想的識別效果。天津大學研究團隊通過將二維和三維人臉信息根據各自特點融合分析並進行有效的特徵提取，最終達到了約98%的識別率。但是針對上面的方法依然還存在改進之處，值得我們深入進行研究。
本章提出了一種基於關鍵特徵點的多信息融合人臉識別算法。通過將標記關鍵特徵點的三維人臉模型映射到二維虛擬圖像子集生成完備訓練樣本，並採用全局和局部加權融合的方法進行特徵提取，最後獲取融合多信息且具有較強聚類性的特徵子空間進行人臉識別。
結論
在這個信息安全越來越被關注的時代，密碼已經成為我們身邊必不可少的東西，數字密碼、指紋密碼已經無法給我們更好的安全保障，然而人臉密碼已經成為信息安全發展不可阻擋的趨勢，因此對人臉識別的研究也越來越受到關注。針對稀疏保持投影(SPP)對原始樣本進行稀疏重構時的誤逼近問題以及二維人臉識別特徵提取中因姿態光照出現的非線性問題，本文提出了三個創新點用於人臉關鍵特徵點定位與特徵提取，有效提高人臉識別算法的有效性。
1．提出一種核的正交稀疏重構保持投影(KODSPE)人臉識別算法。該算法利用核方法將人臉圖像映射到高維特徵空間使其線性可分變得更容易，尤其是那些在原本不可分的數據使其在高維線性空間變得可分，使得稀疏表示係數包含更多的鑑別信息，以便於更好的進行特徵提取和識別。同時，重構稀疏係數權重，最大限度的向同類樣本逼近，排除偽類樣本的干擾，克服了因訓練樣本不太充足導致的缺乏類別信息問題。最後整體進行正交約束變換，使得稀疏保留投影矩陣能夠保留更多的分類鑑別信息。通過在ORL和YALE_B人臉庫中進行實驗分析，KODSPE算法擁有良好的識別效果，相對於傳統算法有更高的識別率與可行性，以及很好的應用前景。
2．提出了一種改進的三維人臉數據關鍵特徵點定位算法。該算法通過中值濾波去除人臉深度數據中存在的孤立噪聲防止噪聲污染，然後使用二值化去除背景區域信息干擾，並根據水平、垂直積分曲線正確定位人臉所在區域，從而排除服飾、裝飾等干擾信息，最後對人臉區域盡心分塊，利用了候選塊中包含的局部結構信息，綜合深度信息和密度信息準確定位鼻尖點，坐標統一化配准三維人臉數據，根據人臉曲線定位關鍵特徵點。與傳統的特徵點定位方法相比，能夠很好的排除因服飾、姿態、以及人臉自身存在的干擾信息，大大提高了關鍵特徵點定位的準確度，同時也提高了特徵提取及識別的效率和魯棒性。
3．提出了一種基於關鍵特徵點的多信息融合人臉識別算法。一方面根據定位的特徵點進行坐標統一化及模型配准，然後再次對三維人臉模數據作處理，獲得充足的擁有不同姿態和光照強度且標記有特徵點的多模態二維虛擬圖像，從而提升人臉識別算法的魯棒性；另一方面為了解決特徵提取中存在的非線性問題，將得到的虛擬圖像劃分成包含聚類信息的子集。最後採用LFA進行特徵提取，根據不同條件下特徵點貢獻度的不同進行加權處理，使得人臉“局部”與“全局”特徵實現有效的加權融合。實驗結果表明，本章提出的人臉識別方法能夠很要的適應姿態和光照條件變化，取得較好的識別率。
綜上所述，針對人臉識別過程中存在的一系列問題，三種算法從不同角度出發，對人臉識別算法進行優化，有效結合二維、三維人臉數據信息，大大提高了算法的魯棒性和識別效果。
參考文獻（略）
1.1 課題研究的背景和意義
如今社會，技術越來越發達，為了應對頻繁發生的刑事案件、恐怖事件，人臉識別技術得到了眾多研究者的青睞。人臉識別技術按照應用領域的不同可以分作以下的兩種類別：應對於恐怖案件、犯罪事件或者證據獲取等警方所用的技術，和應對於公司制度保障、商業機密方面的民用技術。前面一種的技術的運用相比於後一種更加繁瑣，而且對準確率的要求會更加嚴格。後一種的運用場景與第一種相比，主要是為了減少人力方面的付出，故准曲率方面的要求會寬鬆一些。在判斷的運算中，計算機利用人臉識別軟體對輸入信息中的數據做數據採集、面部定位、預操作、 和數據匹配等操作，從而甄別圖像中的人。 人臉識別技術這一研究方向目前的成果。
1．香港研究並發明了極其準確的臉部認證軟體
最近一段時間，香港中文大學的專家研究並發明創造了目前世界上最準確的臉部認證軟體。本軟體的準確率極高，有可能為人們在安全性領域帶動巨大的革命。這個軟體在世界測試的過程中，準確率可以達到 99%以上，高過目前世界上所以的此類軟體，並且也高於人們自身的97%的準確率。
測試中，該軟體可以從幾千張的人臉圖片中，準確的找到為同一個人臉的圖像，並且其抗環境因素干擾的能力特彆強，不會受到光線等因素的干擾。
2．英國警方測試世界最快人臉識別技術
英國如今有著多於六百多萬的攝像頭在一起運行，所以英國成為了最受“注視”的國家。為了進一步的讓各種犯罪案件的發生率降低，其如今已經確定作為英國第一個使用 Neoface 的官方部門，其期望使用這個方式完全轉變抓捕犯人的方法，進而提升效率。此系統的優勢在於其識別速度非常快，能在 9 萬多的圖片中，快速的識別出上萬個要識別的人臉。
1.2 人臉識別技術的研究現狀與展望
1.2.1 研究現狀與應用
針對二維人臉識別技術，國外投入在這個領域的時間比較早，並且投入了許多精力，故已經取得了很大的進展。伴隨科技的進步，許多該技術所依賴的領域已經可以投入使用，故近幾年，不但算法研究上取得了比較大的進步，而且許許多多成熟的應用也出現在人們的視野中，為人們的生活提供者便利。鑒於此，國內眾多學者也相繼開始對人臉識別技術進行研究。其中主要包括清華大學、哈爾濱工業大學、北京工業大學等。目前主要的研究方法有：基於幾何特徵的人臉識別方法；基於主成分分析的人臉識別方法；基於奇異值分解的人臉識別方法；隱馬爾科夫模型方法；基於圖像重建的人臉識別方法。
近幾年來，二維人臉識別的研究算法更多的傾向於基於稀疏表示的識別方法，正因為稀疏表示方法本身存在的優勢，自2009年稀疏保持投影方法出現後，越來越多的改進方法開始出現，如加權稀疏表示，結構稀疏表示等方法，最近陳麗霞等又通過融合監督將維的方法對稀疏表示進行改進，取得了很好的識別效果。然而，雖然二維人臉識別技術已經取得的一定的成果，但是許多算法的研究都是在特定環境在進行的，仍然無法克服因光照、姿態、表情等環境因素的影響，也就導致關於二維人臉識別技術早已出現嚴重瓶頸，制約著其進一步的發展。
三維識別儘管把該技術帶往了一個幾乎可以說是全新的領域，不過其所面臨的困難也是巨大的。主要有以下幾種：1．信息來源方面的困難。2．海量存儲和計算的困難。3．對人的生理認識的不足。4．實現方式和手段的不足。
第2章 人臉識別相關理論
2.1 引言
在人臉識別過程中主要涉及三個部分，分別為人臉檢測、特徵提取以及分類識別。本文改進算法主要針對特徵提取和關鍵特徵點定位兩個方面，故這裡對改進算法中相關理論知識進行介紹。一方面是針對特徵提取過程中，由於數據維數過低包含信息較少或在原始的線性空間中數據線性不可分，通常採用核方法將原始數據映射到高維空間，使其變得線性可分。故這裡對一些基本的核方法進行介紹。另一方面針對本文的關鍵特徵點定位算法，檢測到人臉信息後，我們往往要對人臉作預處理操作如濾波，這也是必不可少的一步，不僅影響特徵點定位，也會影響後續提取和分類的效果。因此人臉圖像預處理越來越得到研究學者們的重視，以保證特徵提取算法不會因基礎數據問題導致識別效果不佳。有效的預處理操作不僅能提高算法訓練樣本的可靠性和準確性，同時能夠減少後面操作的實現複雜度，故這裡對濾波去噪方法進行介紹，對比分析選取恰當的濾波方法。
2.2濾波去噪
恰當的預處理方法對於人臉識別算法的研究相當重要。通過預處理方法可以去除人臉圖像中存在的孤立噪聲，背景、服飾等干擾信息，盡最大可能減少環境因素對圖像的影響，保留並增強有用的數據信息，從而提高人臉檢測性，並提高圖像信息質量以利於後續提取識別。
考慮到圖像中包含的各種噪聲干擾，我們需要採用有效的方法對圖像執行濾波降噪處操作，來提高圖像整體質量，以便於達到更好的識別效果，使用濾波的方式來消除噪聲是非常有效的，通過對圖像線性濾波處理能夠降低或消除圖像中存在的一系列噪聲，其中較為常見的噪聲有顆粒噪聲、高斯噪聲、椒鹽噪聲等。通常情況下我們首先需要分析判斷圖像中噪聲所屬類型，然後再根據噪聲類型選取合適的濾波方法。線性濾波方法使用簡便且執行效率較高，但是細節處理不夠完善，易丟失邊緣信息。相對於其他方法而言平滑濾波方法使用較為普遍，一是不能損壞圖像的輪廓及邊緣等重要信息；二是使圖像清晰視覺效果好。下面具體描述三種常見的濾波方法。
1．線性濾波
常見線性濾波的方式有均值濾波、高斯濾波、維納濾波等，接下來重點介紹均值和高斯濾波。 高斯濾波使用較多，選擇它作為濾波器主要由於它屬於低通濾波，這種方法通過計算標準差對圖像平滑處理。將濾波區域像素點作加權處理，加權規則為越接近中心像素點分配權重值越大，然後再作平均計算。因此，同其它方法相比，通過該方法進行平滑處理依然能保留更清晰的邊緣輪廓信息，不會失真。
另外一種典型的方式就是均值濾波，它通過以某像素點為中心給圖像設置模板，然後對這個模板上的所有像素點作均值，並把該像素點的值賦值為計算得到的均值，具體如圖2-2所示。
然而採用均值濾波的方法通常需要對像素點做均值操作，這樣就會導致整個圖像中所有像素點都是通過獲取周圍的點均值得到的，使得圖像整體上變得不清晰。因此為了減少均值濾波所帶來的不良影響，通常要對這種方法作一些改進，如對其進行加權處理，然而這種加權濾波方法的實現效果並不容樂觀。所以為了本質上提高圖像濾波效果，一種新的濾波去噪方式出現了，那就是中值濾波。
第3章 核的正交稀疏重構保持投影 ................. 16
3.1 引言 ............... 16
3.2 稀疏保留投影算法 .................... 16
第4章 三維人臉數據關鍵特徵點定位算法 ................. 25
4.1 引言 ..................... 25
第5章 基於關鍵特徵點的多信息融合人臉識別算法 .............. 37
5.1 引言 .................... 37
第5章 基於關鍵特徵點的多信息融合人臉識別算法
5.1 引言
近些年來基於三維點雲數據的人臉識別算法的研究越來越引起人們的關注，然而由於硬體設施的制約，對於三維人臉識別的研究一直處於理論階段。不過隨著科技發展三維掃描儀等設備的普及，使得實時化的三維人臉識別系統成為可能，然而三維人臉數據計算和存儲困難依然存在。所以對將二維和三維兩種模態信息融合起來的人臉識別算法研究已經開始成為人們關注的熱點，充分利用三維點雲模型與二維人臉信息各自的優勢，能夠有效的克服因光照、姿態、表情這三大因素的變化導致的二維人臉識別研究的限制，以便增強特徵提取的魯棒性和有效性。
經過多年的發展，在 NFC、國家自然科學基金等資助下，國內許多研究機構和組織對多種模態信息融合的人臉識別算法進行了相關研究，他們採用多種不同的方式將兩種模態的信息(2D-3D)有效融合， 克服了因外界條件影響導致的非線性問題，並取得了理想的識別效果。天津大學研究團隊通過將二維和三維人臉信息根據各自特點融合分析並進行有效的特徵提取，最終達到了約98%的識別率。但是針對上面的方法依然還存在改進之處，值得我們深入進行研究。
本章提出了一種基於關鍵特徵點的多信息融合人臉識別算法。通過將標記關鍵特徵點的三維人臉模型映射到二維虛擬圖像子集生成完備訓練樣本，並採用全局和局部加權融合的方法進行特徵提取，最後獲取融合多信息且具有較強聚類性的特徵子空間進行人臉識別。
結論
在這個信息安全越來越被關注的時代，密碼已經成為我們身邊必不可少的東西，數字密碼、指紋密碼已經無法給我們更好的安全保障，然而人臉密碼已經成為信息安全發展不可阻擋的趨勢，因此對人臉識別的研究也越來越受到關注。針對稀疏保持投影(SPP)對原始樣本進行稀疏重構時的誤逼近問題以及二維人臉識別特徵提取中因姿態光照出現的非線性問題，本文提出了三個創新點用於人臉關鍵特徵點定位與特徵提取，有效提高人臉識別算法的有效性。
1．提出一種核的正交稀疏重構保持投影(KODSPE)人臉識別算法。該算法利用核方法將人臉圖像映射到高維特徵空間使其線性可分變得更容易，尤其是那些在原本不可分的數據使其在高維線性空間變得可分，使得稀疏表示係數包含更多的鑑別信息，以便於更好的進行特徵提取和識別。同時，重構稀疏係數權重，最大限度的向同類樣本逼近，排除偽類樣本的干擾，克服了因訓練樣本不太充足導致的缺乏類別信息問題。最後整體進行正交約束變換，使得稀疏保留投影矩陣能夠保留更多的分類鑑別信息。通過在ORL和YALE_B人臉庫中進行實驗分析，KODSPE算法擁有良好的識別效果，相對於傳統算法有更高的識別率與可行性，以及很好的應用前景。
2．提出了一種改進的三維人臉數據關鍵特徵點定位算法。該算法通過中值濾波去除人臉深度數據中存在的孤立噪聲防止噪聲污染，然後使用二值化去除背景區域信息干擾，並根據水平、垂直積分曲線正確定位人臉所在區域，從而排除服飾、裝飾等干擾信息，最後對人臉區域盡心分塊，利用了候選塊中包含的局部結構信息，綜合深度信息和密度信息準確定位鼻尖點，坐標統一化配准三維人臉數據，根據人臉曲線定位關鍵特徵點。與傳統的特徵點定位方法相比，能夠很好的排除因服飾、姿態、以及人臉自身存在的干擾信息，大大提高了關鍵特徵點定位的準確度，同時也提高了特徵提取及識別的效率和魯棒性。
3．提出了一種基於關鍵特徵點的多信息融合人臉識別算法。一方面根據定位的特徵點進行坐標統一化及模型配准，然後再次對三維人臉模數據作處理，獲得充足的擁有不同姿態和光照強度且標記有特徵點的多模態二維虛擬圖像，從而提升人臉識別算法的魯棒性；另一方面為了解決特徵提取中存在的非線性問題，將得到的虛擬圖像劃分成包含聚類信息的子集。最後採用LFA進行特徵提取，根據不同條件下特徵點貢獻度的不同進行加權處理，使得人臉“局部”與“全局”特徵實現有效的加權融合。實驗結果表明，本章提出的人臉識別方法能夠很要的適應姿態和光照條件變化，取得較好的識別率。
綜上所述，針對人臉識別過程中存在的一系列問題，三種算法從不同角度出發，對人臉識別算法進行優化，有效結合二維、三維人臉數據信息，大大提高了算法的魯棒性和識別效果。
參考文獻（略）
收藏