【摘要】本文針對公安交通管理行業雲計算髮展的趨勢，結合當前公安交通管理信息系統的現狀，介紹基於服務的公安交通管理雲平台(交管雲)接口實現，以構建的公安交通管理雲平台為基礎，從總體架構、技術實現及優點、交管雲數據讀寫測試三方面對交管雲平台的服務實現做了詳細介紹，通過基於對外提供統一的數據接口服務，一方面實現對交管雲平台下數據接口的集中管控，另一方面簡化了公安交通管理業務層面對雲服務的使用。
【關鍵詞】RPC；公安交通管理信息化；雲平台
0引言
面對當前信息化迅速發展對維護道路交通安全和社會穩定帶來的新挑戰，2012年，公安部《關於貫徹落實〈全國公安裝備建設「十二五」規劃〉指揮信通裝備建設項目的工作意見》將警務雲計算中心建設工作納入整體規劃。交管雲作為警務雲在公安交通管理的落地實踐，是運用雲計算和大數據技術服務公安交通管理治理、管控工作的一次創新和突破，是提高駕馭交管管理能力、打造平安城市的關鍵抓手。「雲計算」在公安交通管理行業的普及，將為政府及納稅人節省巨大的信息化建設費用，是一項利國利民、影響深遠的重要工程[1]。目前交通管理行業中各類外掛系統有萬餘個。這些系統主要是通過交管業務系統的數據接口實現各自的信息化功能及服務，但由於外掛系統是不同的廠商承建，且對數據內容及格式的要求並不相同，所以數據接口眾多且非常複雜[2]。本文針對公安交通管理行業雲計算髮展的趨勢，及當前面臨的問題介紹基於的交管雲接口，以交管雲平台為基礎，統一對外提供數據接口服務。並基於服務，實現對交管數據接口的集中管控，實現整個交管雲平台在深化業務層面的開發實踐，以滿足將來不斷增大的公安交管信息化需求。
1基於的交管雲平台接口實現模式
基於的交管雲接口實現模式，即在傳統的業務系統、外掛系統到交管雲平台的二層訪問架構之間加入中間層，由中間層來業務系統或外掛系統的請求或雲服務的響應[3]。一方面，業務系統或外掛系統通過中間對雲服務進行請求，並將對雲服務請求的部分處理過程轉移到資源更為充裕的中間完成，從而統一了數據接口的管理；另一方面，雲服務通過中間向業務系統或外掛系統進行響應，並藉助中間對雲服務進行傳輸協議、數據交換格式等橋接轉換，從而使其滿足不同平台、技術體系的集成和擴展。
1.1總體架構
基於的交管雲接口的實現的設計，主要包括RPC控制端、接口服務、交管數據調度服務、交管數據平台處理器。其中RPC控制端包括交管業務系統RPC客戶端和交管業務系統RPC服務端，接口服務包括交管消息格式轉換、交管數據內容校驗、交管數據權限控制，調度服務包括交管數據任務管理、交管數據服務監控、日誌管理，交管數據平台處理器主要是與交管雲平台技術組件進行交互的數據接口處理程序。
1.1.1RPC客戶端
RPC客戶端模塊支持多種方式接入，主要可分為交管業務系統功能操作接入和交管數據服務Webservice接入。所述交管業務系統RPC客戶端模塊是由交通管理業務系統，如交管綜合應用平台調用進程發送一個有進程參數的調用信息到服務進程，然後等待應答信息。在交管業務系統伺服器端，進程保持睡眠狀態直到調用信息到達為止。當一個調用信息到達，伺服器獲得進程參數，計算結果，發送答覆信息，然後等待下一個調用信息，最後，交管業務系統客戶端調用進程接收答覆信息，獲得進程結果，然後調用執行繼續進行。
1.1.2接口服務
接口服務主要包括消息格式轉換、內容校驗及權限控制等主要內容。接口消息轉換以交管行業現有數據交換協議為主，同時支持XML、JSON、二進制文件、文本文件等數據格式，能將一種數據格式轉換為另一種數據格式，在數據格式轉換時可支持聚合、拆分模式。支持數據之間不同字符集格式的轉換，例如GB2312,GBK,GB18030、Unicode、UTF-8等相互之間的轉換。內容校驗是通過交管信息管理人員創建交管業務數據校驗規則，自動為核心系統或外圍系統提供缺失、邏輯等各種數據校驗預警告警能力，用於提示交管信息管理人員實時進行數據處置。數據接收時，通過交管數據校驗保證數據質量，支持以下校驗規則：重複性檢查、唯一性檢查、自定義校驗規則等。權限控制是指對交管數據服務的訪問進行安全控制，對交管數據服務的訪問需按照交通管理業務規則進行設置，當服務設置為需要進行身份驗證，服務調用者應當在請求報文頭(SOAPHeader)中填寫身份驗證信息。
1.1.3調度服務
調度服務主要包括任務管理、接口服務監控、日誌管理等內容。任務管理是通過觸發器設置交管作業定時運行規則，控制作業的運行時間進行定時任務調度，實現定時完成定製任務，可以指定時間點，也可以設置成每小時、每天等動態時間。服務監控實現了對交管服務運行狀態、調用頻率、數據流量等進行實時監控，並實時地檢測到各種交管數據服務的異常信息和交管業務系統數據處理情況。日誌管理能夠查看交管服務處理過程的跟蹤日誌，實現了日誌分類、查詢以及日誌優先級的設置。從RPC客戶端模塊向RPC伺服器端模塊提交數據請求，接口服務模塊在接收數據後完成數據格式格式的轉換、內容校驗以及權限控制，調度服務模塊完成交管數據任務的調度、監控以及日誌跟蹤及管理，最終交管數據任務管理模塊將數據請求提交至交管雲平台數據接口處理程序。服務作為可重用的服務定義，屏蔽對後端交管雲接口服務的直接訪問，降低了後端交管雲平台的更新、升級對業務系統的影響程度，並提升了整體大數據體系的適應性和可擴展性。在基於的交管雲接口調度模式中，服務中對服務的封裝通過服務消息流來實現，服務消息流也是一種交換服務流，由服務調度引擎統一調度執行，解決了業務系統與交管雲技術組件之間數據交互的管理問題[4]。
1.2基於的交管雲平台訪問
交管業務系統進行RPC調用訪問交管雲服務時，首先交管數據服務監聽器監聽由交管業務系統RPC客戶端發來的請求，讀取隊列通過讀取進程實現阻塞等待。在建立交管數據RPC服務以後，讀取隊列根據傳輸前所提供的目的地址及RPC上層應用程式號轉至相應的RPC應用程式服務端，且此時的客戶端處於等待狀態，直至收到應答或TimeOut超時信號。當伺服器端獲得請求消息，則會根據註冊RPC時告訴RPC系統的例程入口地址，執行相應的操作，並將結果返回至客戶端。當一次RPC調用結束後，相應線程發送相應的信號，客戶端程序才會繼續運行。在這個過程中，一個RPC過程是有三個要素來唯一確定的：程序號、版本號和過程號。程序號是用來區別一組相關的並且具有唯一過程好的遠程過程。一個程序可以有一個或幾個不同的版本，而每個版本的程序都包含一系列能被遠程調用的過程，通過版本的引入，使得不同版本下的RPC能同時提供服務。每個版本都包含有許多可供遠程調用的過程，每個過程則有其唯一標示的過程號。通過這種調用方式可以充分利用非共享內存的多處理器環境，這樣可以簡便地將應用分布在多台伺服器上，應用就形成了一個分布式處理與響應環境，提高系統資源的利用率。同時，可以最大程度減少由於原有交管業務系統的異構性所帶來的影響。
2基於的交管雲平台特點
2.1通過服務，體現了交管雲接口的統一管理
通過服務，各個業務系統將統一通過RPC控制端模塊將業務數據發送接口服務模塊，所傳輸的數據將通過接口服務的格式轉化、校驗後，發送給調度服務。傳輸的數據內容例如違法、駕駛人、機動車等交管結構化數據、違法圖片、機動車圖片等非結構化數據、應用系統、中間件系統日誌等半結構化數據將通過處理器模塊保存入交管雲平台中，也可通過服務獲取相關數據。交管信息管理人員可統一通過頁面端的可視化拖拽設計工具進行服務設計，並通過圖形化的方式展現整個交管數據消息路由的拓撲結構。在消息路由拓撲設計完成之後，提供消息推送測試功能，可以對整個路由結構做測通測試，並且給出測試結果，對於故障節點給出相應信息，便於快速問題查找、快速問題定位。
2.2通過服務，實現了交管雲接口之間的松耦合
通過服務調度服務實現了交管業務系統與交管雲平台之間的關注點的隔離，通過提供服務與交管數據服務的動態、靜態調用降低交管業務系統與交管雲平台數據接口的耦合程度。服務作為可重用的服務定義，屏蔽對後端交管雲接口服務的直接訪問，降低了後端交管雲平台的切換對業務系統的影響程度，並提升了整體大數據體系的適應性和可擴展性。在基於的交管雲接口調度模式中，服務中對服務的封裝通過服務消息流來實現，服務消息流也是一種交換服務流，由服務調度引擎統一調度執行，解決了業務系統與交管雲接口之間數據交互的管理問題。
2.3通過服務，保證了消息傳輸的安全性
通過服務，可以完成交管雲接口的重複性檢查、唯一性檢查、自定義校驗規則等內容。同時，交管數據服務調用的全部過程將被監控服務和日誌跟蹤服務所記錄。交管雲接口數據調度服務從架構設計上支持高並發、大批量的消息數據並行傳輸，結合相應的技術組件處理器，實現高並發、高可靠的消息傳輸，幫助用戶構建高效可靠的大數據基礎環境。在調度服務提供了對傳輸過程中的消息進行加密、切片、壓縮傳輸的能力，保證了消息傳輸的可靠性和安全性。
3交管雲平台程序性能測試
基於的交管雲服務接口訪問平台搭建完成後，進行了通過讀寫交管雲數據的性能測試。採用5台硬體伺服器，分別為Master節點、Node-1節點、Node-2節點、Node-3節點、Node-4節點，伺服器的配置見表1。在5個節點上，部署了服務程序，供業務系統訪問。平台的性能測試包括對圖片、視頻等非結構化數據的寫入和讀取，以及結構化數據的寫入和查詢測試。根據當前公安交管實際業務需要，模擬每天約10萬條照片、1億條結構化文本的讀寫操作。具體測試方式為，對於照片數據:（1）3張圖片（每張1.7M）+rowkey欄位+11個描述欄位約為5.3M/條。（2）50用戶並發，每用戶寫入2000條數據，累計寫入10萬條記錄，完成寫入壓力測試，數據量約為50用戶*2000條*5.3M*n(測試次數)約為大於530G。（3）50用戶並發，每用戶寫入100000條，寫入數據量約為50用戶*100000條*5.3M約為2.65T；（4）50用戶查詢100次圖片，每次一條記錄。對於結構化文本數據:（1）90個描述欄位約為1k/條。資料庫內現有9000萬條數據。（2）50用戶，每用戶寫入10萬條數據，累計500萬條記錄，完成寫入壓力測試，數據量約為50用戶*100000條*1K*n(測試次數)約為大於5G。（3）50用戶，每用戶寫入1千萬條，寫入數據量約為50用戶*10000000條*1k約為500G。（4）50用戶，查詢20次數據，這完成讀取壓力測試。（5）50用戶，每用戶讀取1000條數據，完成穩定性測試。根據測試結果計算總結，得到了基於提供的接口讀寫交管雲平台數據的運算指標結果見表2。根據實際業務場景模擬的測試結果，已符合當前的業務需求。
4總結
本文針對公安交通管理信息化發展的趨勢，及當前公安交通管理信息系統的特點，提出了基於的交管雲服務接口實現模式，並從實現的總體架構、接口服務的訪問方式及採用這種方式的優勢等方面進行闡述，最後根據當前公安交通管理業務數據讀寫的實際需求，對基於服務讀寫交管雲數據的性能進行了測試。下一步，將不斷完善服務程序，將現有交管信息系統逐漸遷移至交管雲平台，推進雲計算環境下公安交通管理行業信息化發展。
參考文獻
[1]陳飛,季君.公安交通管理綜合應用平台建設與應用[J].道路交通管理,2012(7):8-9.
[2]張穎江,吳珊.移動在分布式計算中的應用和實現[J].湖北工業大學學報.
[3]許卓明,董逸生.基於RPC和基於REST的Web服務交互模型比較分析[J].計算機工程.
[4]江海龍,吳曉東,陳學浩.網際網路公安交通管理信息系統統一建設模式應用研究[J].中國公共安全(學術版),2014(2):67-71.
作者：邵志驊 吳曉東 崔林山 單位：公安部交通管理科學研究所
【關鍵詞】RPC；公安交通管理信息化；雲平台
0引言
面對當前信息化迅速發展對維護道路交通安全和社會穩定帶來的新挑戰，2012年，公安部《關於貫徹落實〈全國公安裝備建設「十二五」規劃〉指揮信通裝備建設項目的工作意見》將警務雲計算中心建設工作納入整體規劃。交管雲作為警務雲在公安交通管理的落地實踐，是運用雲計算和大數據技術服務公安交通管理治理、管控工作的一次創新和突破，是提高駕馭交管管理能力、打造平安城市的關鍵抓手。「雲計算」在公安交通管理行業的普及，將為政府及納稅人節省巨大的信息化建設費用，是一項利國利民、影響深遠的重要工程[1]。目前交通管理行業中各類外掛系統有萬餘個。這些系統主要是通過交管業務系統的數據接口實現各自的信息化功能及服務，但由於外掛系統是不同的廠商承建，且對數據內容及格式的要求並不相同，所以數據接口眾多且非常複雜[2]。本文針對公安交通管理行業雲計算髮展的趨勢，及當前面臨的問題介紹基於的交管雲接口，以交管雲平台為基礎，統一對外提供數據接口服務。並基於服務，實現對交管數據接口的集中管控，實現整個交管雲平台在深化業務層面的開發實踐，以滿足將來不斷增大的公安交管信息化需求。
1基於的交管雲平台接口實現模式
基於的交管雲接口實現模式，即在傳統的業務系統、外掛系統到交管雲平台的二層訪問架構之間加入中間層，由中間層來業務系統或外掛系統的請求或雲服務的響應[3]。一方面，業務系統或外掛系統通過中間對雲服務進行請求，並將對雲服務請求的部分處理過程轉移到資源更為充裕的中間完成，從而統一了數據接口的管理；另一方面，雲服務通過中間向業務系統或外掛系統進行響應，並藉助中間對雲服務進行傳輸協議、數據交換格式等橋接轉換，從而使其滿足不同平台、技術體系的集成和擴展。
1.1總體架構
基於的交管雲接口的實現的設計，主要包括RPC控制端、接口服務、交管數據調度服務、交管數據平台處理器。其中RPC控制端包括交管業務系統RPC客戶端和交管業務系統RPC服務端，接口服務包括交管消息格式轉換、交管數據內容校驗、交管數據權限控制，調度服務包括交管數據任務管理、交管數據服務監控、日誌管理，交管數據平台處理器主要是與交管雲平台技術組件進行交互的數據接口處理程序。
1.1.1RPC客戶端
RPC客戶端模塊支持多種方式接入，主要可分為交管業務系統功能操作接入和交管數據服務Webservice接入。所述交管業務系統RPC客戶端模塊是由交通管理業務系統，如交管綜合應用平台調用進程發送一個有進程參數的調用信息到服務進程，然後等待應答信息。在交管業務系統伺服器端，進程保持睡眠狀態直到調用信息到達為止。當一個調用信息到達，伺服器獲得進程參數，計算結果，發送答覆信息，然後等待下一個調用信息，最後，交管業務系統客戶端調用進程接收答覆信息，獲得進程結果，然後調用執行繼續進行。
1.1.2接口服務
接口服務主要包括消息格式轉換、內容校驗及權限控制等主要內容。接口消息轉換以交管行業現有數據交換協議為主，同時支持XML、JSON、二進制文件、文本文件等數據格式，能將一種數據格式轉換為另一種數據格式，在數據格式轉換時可支持聚合、拆分模式。支持數據之間不同字符集格式的轉換，例如GB2312,GBK,GB18030、Unicode、UTF-8等相互之間的轉換。內容校驗是通過交管信息管理人員創建交管業務數據校驗規則，自動為核心系統或外圍系統提供缺失、邏輯等各種數據校驗預警告警能力，用於提示交管信息管理人員實時進行數據處置。數據接收時，通過交管數據校驗保證數據質量，支持以下校驗規則：重複性檢查、唯一性檢查、自定義校驗規則等。權限控制是指對交管數據服務的訪問進行安全控制，對交管數據服務的訪問需按照交通管理業務規則進行設置，當服務設置為需要進行身份驗證，服務調用者應當在請求報文頭(SOAPHeader)中填寫身份驗證信息。
1.1.3調度服務
調度服務主要包括任務管理、接口服務監控、日誌管理等內容。任務管理是通過觸發器設置交管作業定時運行規則，控制作業的運行時間進行定時任務調度，實現定時完成定製任務，可以指定時間點，也可以設置成每小時、每天等動態時間。服務監控實現了對交管服務運行狀態、調用頻率、數據流量等進行實時監控，並實時地檢測到各種交管數據服務的異常信息和交管業務系統數據處理情況。日誌管理能夠查看交管服務處理過程的跟蹤日誌，實現了日誌分類、查詢以及日誌優先級的設置。從RPC客戶端模塊向RPC伺服器端模塊提交數據請求，接口服務模塊在接收數據後完成數據格式格式的轉換、內容校驗以及權限控制，調度服務模塊完成交管數據任務的調度、監控以及日誌跟蹤及管理，最終交管數據任務管理模塊將數據請求提交至交管雲平台數據接口處理程序。服務作為可重用的服務定義，屏蔽對後端交管雲接口服務的直接訪問，降低了後端交管雲平台的更新、升級對業務系統的影響程度，並提升了整體大數據體系的適應性和可擴展性。在基於的交管雲接口調度模式中，服務中對服務的封裝通過服務消息流來實現，服務消息流也是一種交換服務流，由服務調度引擎統一調度執行，解決了業務系統與交管雲技術組件之間數據交互的管理問題[4]。
1.2基於的交管雲平台訪問
交管業務系統進行RPC調用訪問交管雲服務時，首先交管數據服務監聽器監聽由交管業務系統RPC客戶端發來的請求，讀取隊列通過讀取進程實現阻塞等待。在建立交管數據RPC服務以後，讀取隊列根據傳輸前所提供的目的地址及RPC上層應用程式號轉至相應的RPC應用程式服務端，且此時的客戶端處於等待狀態，直至收到應答或TimeOut超時信號。當伺服器端獲得請求消息，則會根據註冊RPC時告訴RPC系統的例程入口地址，執行相應的操作，並將結果返回至客戶端。當一次RPC調用結束後，相應線程發送相應的信號，客戶端程序才會繼續運行。在這個過程中，一個RPC過程是有三個要素來唯一確定的：程序號、版本號和過程號。程序號是用來區別一組相關的並且具有唯一過程好的遠程過程。一個程序可以有一個或幾個不同的版本，而每個版本的程序都包含一系列能被遠程調用的過程，通過版本的引入，使得不同版本下的RPC能同時提供服務。每個版本都包含有許多可供遠程調用的過程，每個過程則有其唯一標示的過程號。通過這種調用方式可以充分利用非共享內存的多處理器環境，這樣可以簡便地將應用分布在多台伺服器上，應用就形成了一個分布式處理與響應環境，提高系統資源的利用率。同時，可以最大程度減少由於原有交管業務系統的異構性所帶來的影響。
2基於的交管雲平台特點
2.1通過服務，體現了交管雲接口的統一管理
通過服務，各個業務系統將統一通過RPC控制端模塊將業務數據發送接口服務模塊，所傳輸的數據將通過接口服務的格式轉化、校驗後，發送給調度服務。傳輸的數據內容例如違法、駕駛人、機動車等交管結構化數據、違法圖片、機動車圖片等非結構化數據、應用系統、中間件系統日誌等半結構化數據將通過處理器模塊保存入交管雲平台中，也可通過服務獲取相關數據。交管信息管理人員可統一通過頁面端的可視化拖拽設計工具進行服務設計，並通過圖形化的方式展現整個交管數據消息路由的拓撲結構。在消息路由拓撲設計完成之後，提供消息推送測試功能，可以對整個路由結構做測通測試，並且給出測試結果，對於故障節點給出相應信息，便於快速問題查找、快速問題定位。
2.2通過服務，實現了交管雲接口之間的松耦合
通過服務調度服務實現了交管業務系統與交管雲平台之間的關注點的隔離，通過提供服務與交管數據服務的動態、靜態調用降低交管業務系統與交管雲平台數據接口的耦合程度。服務作為可重用的服務定義，屏蔽對後端交管雲接口服務的直接訪問，降低了後端交管雲平台的切換對業務系統的影響程度，並提升了整體大數據體系的適應性和可擴展性。在基於的交管雲接口調度模式中，服務中對服務的封裝通過服務消息流來實現，服務消息流也是一種交換服務流，由服務調度引擎統一調度執行，解決了業務系統與交管雲接口之間數據交互的管理問題。
2.3通過服務，保證了消息傳輸的安全性
通過服務，可以完成交管雲接口的重複性檢查、唯一性檢查、自定義校驗規則等內容。同時，交管數據服務調用的全部過程將被監控服務和日誌跟蹤服務所記錄。交管雲接口數據調度服務從架構設計上支持高並發、大批量的消息數據並行傳輸，結合相應的技術組件處理器，實現高並發、高可靠的消息傳輸，幫助用戶構建高效可靠的大數據基礎環境。在調度服務提供了對傳輸過程中的消息進行加密、切片、壓縮傳輸的能力，保證了消息傳輸的可靠性和安全性。
3交管雲平台程序性能測試
基於的交管雲服務接口訪問平台搭建完成後，進行了通過讀寫交管雲數據的性能測試。採用5台硬體伺服器，分別為Master節點、Node-1節點、Node-2節點、Node-3節點、Node-4節點，伺服器的配置見表1。在5個節點上，部署了服務程序，供業務系統訪問。平台的性能測試包括對圖片、視頻等非結構化數據的寫入和讀取，以及結構化數據的寫入和查詢測試。根據當前公安交管實際業務需要，模擬每天約10萬條照片、1億條結構化文本的讀寫操作。具體測試方式為，對於照片數據:（1）3張圖片（每張1.7M）+rowkey欄位+11個描述欄位約為5.3M/條。（2）50用戶並發，每用戶寫入2000條數據，累計寫入10萬條記錄，完成寫入壓力測試，數據量約為50用戶*2000條*5.3M*n(測試次數)約為大於530G。（3）50用戶並發，每用戶寫入100000條，寫入數據量約為50用戶*100000條*5.3M約為2.65T；（4）50用戶查詢100次圖片，每次一條記錄。對於結構化文本數據:（1）90個描述欄位約為1k/條。資料庫內現有9000萬條數據。（2）50用戶，每用戶寫入10萬條數據，累計500萬條記錄，完成寫入壓力測試，數據量約為50用戶*100000條*1K*n(測試次數)約為大於5G。（3）50用戶，每用戶寫入1千萬條，寫入數據量約為50用戶*10000000條*1k約為500G。（4）50用戶，查詢20次數據，這完成讀取壓力測試。（5）50用戶，每用戶讀取1000條數據，完成穩定性測試。根據測試結果計算總結，得到了基於提供的接口讀寫交管雲平台數據的運算指標結果見表2。根據實際業務場景模擬的測試結果，已符合當前的業務需求。
4總結
本文針對公安交通管理信息化發展的趨勢，及當前公安交通管理信息系統的特點，提出了基於的交管雲服務接口實現模式，並從實現的總體架構、接口服務的訪問方式及採用這種方式的優勢等方面進行闡述，最後根據當前公安交通管理業務數據讀寫的實際需求，對基於服務讀寫交管雲數據的性能進行了測試。下一步，將不斷完善服務程序，將現有交管信息系統逐漸遷移至交管雲平台，推進雲計算環境下公安交通管理行業信息化發展。
參考文獻
[1]陳飛,季君.公安交通管理綜合應用平台建設與應用[J].道路交通管理,2012(7):8-9.
[2]張穎江,吳珊.移動在分布式計算中的應用和實現[J].湖北工業大學學報.
[3]許卓明,董逸生.基於RPC和基於REST的Web服務交互模型比較分析[J].計算機工程.
[4]江海龍,吳曉東,陳學浩.網際網路公安交通管理信息系統統一建設模式應用研究[J].中國公共安全(學術版),2014(2):67-71.
作者：邵志驊 吳曉東 崔林山 單位：公安部交通管理科學研究所
收藏