賈婷
摘要：基於大數據的可視分析理論與技術已經被應用於很多不同的領域。大數據時代背景下，秦皇島港已經實現了生產業務信息化，並且積累了大量的生產作業數據。蘊含在港口生產業務數據中的潛在價值有待挖掘。為了使港口能更有效地管理和應用數據資源，本文結合港口業務與數據特點，提出了基於大數據的港口煤炭物流可視化分析平台，分析了平台總體設計思路，介紹了該平台的總體架構，闡述了該平台在秦皇島港的應用效果。實際應用表明，該平台實現了港口企業內部數據的全面管理和應用，為港口企業管理、決策、預警等提供全面可靠的數據支撐。
關鍵詞：大數據 港口 煤炭物流 可視化分析
0 引 言
近年來，秦皇島港面臨愈加激烈的競爭環境。作為國內的百年大港，秦皇島港具有深厚的基礎設施優勢、網絡設備優勢、數據資源優勢以及客戶資源優勢，尤其是秦皇島港所積澱的海量數據資源是新建港口碼頭所無法比擬的。充分發揮港口底蘊優勢，通過物聯網、雲計算、數據挖掘等技術手段對港口供應鏈上的信息進行感知、存儲、歸納、整理並盤活；分析煤炭物流數據資源的消費趨勢，從中發現優質貨源；對客戶進行分析，以制定有效的客戶政策，優化港口生產作業各環節和供應鏈流程，以推動形成基於大數據的增值信息服務新業態。
1 問題分析
1.1 必要性分析
作為煤炭供應鏈的樞紐節點，秦皇島港在生產調度、煤炭生產、貨運費收等生產過程中積澱了海量的數據。這些生產數據背後蘊藏著高價值的信息，然而，由於港口業務數據具有海量、高維、網絡化及地理相關等數據特性，使得數據分析人員很難在現有數據資源的基礎上洞察港口現已積累數據的潛藏價值，無法全面地掌握、理解、分析港口業務情況。生產管理數據價值增值環節的缺失，導致不能為港口生產經營決策管理提供有效的數據支撐。為此，亟待通過有效的可視化技術來解決上述問題，實現港口的數據增值應用。
1.2 港口數據分析
本文主要從結合港口煤炭物流數據多源性、異構性和多維性的特徵，通過對海量煤炭物流數據進行分析。
（1）多源性
秦皇島港在信息化發展過程中，在不同的歷史時期，為滿足不同的業務需求，採用不同的資料庫技術構建系統，為此，港口煤炭物流數據具有多源屬性。
（2）異構性
一方面，港口數據的多源屬性使得獲取的數據格式、數據組成具有異構性。其次，不同信息系統所採用的採集系統並不相同，導致所採集獲得的數據模型具有異構性。
（3）多維性
港口數據具有異構、多源等特徵，使得數據的描述可以從多個不同維度展開。例如，針對一個車次的煤炭調進數據描述，包括煤種、噸數、車次、發貨人、委託人、所屬分公司等信息。
結合港口煤炭物流數據的實際特點，以發現煤炭物流趨勢、規則等潛藏在數據背後的有價值信息。
2 技術思路
以港口煤炭物流大數據的結構特徵為基礎，綜合運用數據挖掘技術、基於OLAP的多維分析技術及可視化交互等技術，實現對數據多維度、深層次的挖掘，以實現對信息的洞察，避免在信息中迷航，在儘可能短的時間內，以最自然的方式獲得和理解所需信息並做出決策。
（1）港口煤炭物流大數據經過可視化模型處理後，可以得到可視化數據，通過對可視化數據建模分析，利用數據挖掘等數據分析技術，實現數據的實時分析與管理，可為港口的決策提供及時、準確、權威的數據依據，使秦港能及時掌握市場環境的需求變化，從而能夠及時進行戰略調整，贏得市場先機。
港口煤炭物流大數據分析模型如圖1所示。
（2）基於OLAP的大數據多維分析技術
通過採用多維分析技術對港口煤炭物流大數據進行上卷、下鑽、切片、切塊、旋轉等分析操作，實現了數據從高維度抽象至低維度細節的全方位剖析展示，使分析者、決策者能從多個角度、多個側面觀察資料庫中的數據，有利於鑽取、挖掘數據潛藏的信息價值與內涵。
以秦港煤炭調進數據為例，應用多維分析技術可從委託人、公司、時間各維度分析數據，如下圖所示：
（3）系統可視化開發技術框架
採用商業智能軟體Tableau，沒有複雜的代碼編輯，控制台可完全自定義配置。在控制台上，不僅能夠監測信息，而且還提供完整的分析能力，通過導入業務系統數據信息，簡單拖放數據欄位信息即可形成可視化圖形。
3 平台構成
港口煤炭物流大數據可視化分析平台主要基於數據挖掘、中間件、可視化等技術實現港口煤炭物流大數據的集成、管理與應用。平台總體架構可以分為感知層、網絡層、數據存儲層、數據分析層與展示層。
（1）感知層：以秦皇島港物聯網設備、PLC等數據採集設備為基礎，實現數據的自動化採集，為數據應用提供數據來源。
（2）網絡層：以港口網絡為核心，基於網際網路、移動網際網路、WIFI等，實現數據通訊與實時數據採集。
（3）數據存儲層：面向業務構建主題資料庫，通過整個各個系統數據，構建基於數據挖掘的數據倉庫，大數據分析挖掘提供數據支撐。
（4）數據分析層：採用數據分析模型，利用數據挖掘、OLAP等技術，挖掘數據的關聯關係，實現數據聚類分析與預測，發現數據潛藏的規律與價值，通過蓋層實現整個平台數據的增值應用。
（5）數據展示層： 利用系統可視化開發框架，從數據多維分析、數據交互等多個方面對港口煤炭大數據進行挖掘、分析與展示，從而實現港口煤炭物流大數據的可視化管理。
4 實施效果
以港口煤炭物流數據為研究對象，對其進行業務建模，分析煤炭調進數據維度之間的關係，並利用可視化開發框架對數據進行可視化展現與交互，可以得到如圖4所示的煤炭可視化分析結果。
通過對煤炭調進數據進行挖掘、分析，可以從委託人層面分析煤炭調進業務量排名，各公司所占比例；從子公司層面，可以分析子公司各煤種調進業務量所占的比例；還可分析出煤炭從不同發貨公司按月或按日的調進詳細趨勢。
實際應用表明，平台為港口企業管理、決策、預警等提供全面可靠的數據支撐。
5 結 論
本文以日益增長的秦皇島港海量生產業務數據為研究對象，綜合運用大數據技術、可視化開發技術框架、數據挖掘技術，對生產數據進行多維分析挖掘與交互動態展示，促進了系統的智能思考，實現了秦皇島港煤炭大數據的增值輸出，為管理者的理性決策提供可靠、直觀的數據依據，有效地滿足了新形勢下港口的決策管理需要，促進了港口生產從勞動密集型向集約型管理的轉變。
參考文獻：
[1] 任磊，杜一，馬帥.大數據可視分析綜述[J].軟體學報，2014（9）：1909-1936.
[2] 沈漢威，張小龍，陳為.可視化及可視分析專題前言[J].軟體學報，2016（5）：1059-1060.
[3] 何賢國，孫國道，高家全.計程車GPS大數據的道路行車可視分析[J].計算機輔助設計與圖形學學報.2014（12）：2163-2172.
[4] 張繁，袁兆康，肖凡平.基於Spark的大數據熱圖可視化方法[J].計算機輔助設計與圖形學學報2016（11）：1881-1886.
[5] 徐計，王國胤，於洪.基於粒計算的大數據處理[J].計算機學報.2015（8）：1497-1517.
[6] 王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機學報，2013（6）：1125-1138.
[7] 沈國輝，孫麗卿，游大寧.智能調度系統信息綜合可視化方法[J].電力系統保護與控制，2014（13）：129-134.
[8] 郭曉波，趙書良，王長賓.一種新的面向普通用戶的多值屬性關聯規則可視化挖掘方法[J].電子學報，2015（2）：344-352.
摘要：基於大數據的可視分析理論與技術已經被應用於很多不同的領域。大數據時代背景下，秦皇島港已經實現了生產業務信息化，並且積累了大量的生產作業數據。蘊含在港口生產業務數據中的潛在價值有待挖掘。為了使港口能更有效地管理和應用數據資源，本文結合港口業務與數據特點，提出了基於大數據的港口煤炭物流可視化分析平台，分析了平台總體設計思路，介紹了該平台的總體架構，闡述了該平台在秦皇島港的應用效果。實際應用表明，該平台實現了港口企業內部數據的全面管理和應用，為港口企業管理、決策、預警等提供全面可靠的數據支撐。
關鍵詞：大數據 港口 煤炭物流 可視化分析
0 引 言
近年來，秦皇島港面臨愈加激烈的競爭環境。作為國內的百年大港，秦皇島港具有深厚的基礎設施優勢、網絡設備優勢、數據資源優勢以及客戶資源優勢，尤其是秦皇島港所積澱的海量數據資源是新建港口碼頭所無法比擬的。充分發揮港口底蘊優勢，通過物聯網、雲計算、數據挖掘等技術手段對港口供應鏈上的信息進行感知、存儲、歸納、整理並盤活；分析煤炭物流數據資源的消費趨勢，從中發現優質貨源；對客戶進行分析，以制定有效的客戶政策，優化港口生產作業各環節和供應鏈流程，以推動形成基於大數據的增值信息服務新業態。
1 問題分析
1.1 必要性分析
作為煤炭供應鏈的樞紐節點，秦皇島港在生產調度、煤炭生產、貨運費收等生產過程中積澱了海量的數據。這些生產數據背後蘊藏著高價值的信息，然而，由於港口業務數據具有海量、高維、網絡化及地理相關等數據特性，使得數據分析人員很難在現有數據資源的基礎上洞察港口現已積累數據的潛藏價值，無法全面地掌握、理解、分析港口業務情況。生產管理數據價值增值環節的缺失，導致不能為港口生產經營決策管理提供有效的數據支撐。為此，亟待通過有效的可視化技術來解決上述問題，實現港口的數據增值應用。
1.2 港口數據分析
本文主要從結合港口煤炭物流數據多源性、異構性和多維性的特徵，通過對海量煤炭物流數據進行分析。
（1）多源性
秦皇島港在信息化發展過程中，在不同的歷史時期，為滿足不同的業務需求，採用不同的資料庫技術構建系統，為此，港口煤炭物流數據具有多源屬性。
（2）異構性
一方面，港口數據的多源屬性使得獲取的數據格式、數據組成具有異構性。其次，不同信息系統所採用的採集系統並不相同，導致所採集獲得的數據模型具有異構性。
（3）多維性
港口數據具有異構、多源等特徵，使得數據的描述可以從多個不同維度展開。例如，針對一個車次的煤炭調進數據描述，包括煤種、噸數、車次、發貨人、委託人、所屬分公司等信息。
結合港口煤炭物流數據的實際特點，以發現煤炭物流趨勢、規則等潛藏在數據背後的有價值信息。
2 技術思路
以港口煤炭物流大數據的結構特徵為基礎，綜合運用數據挖掘技術、基於OLAP的多維分析技術及可視化交互等技術，實現對數據多維度、深層次的挖掘，以實現對信息的洞察，避免在信息中迷航，在儘可能短的時間內，以最自然的方式獲得和理解所需信息並做出決策。
（1）港口煤炭物流大數據經過可視化模型處理後，可以得到可視化數據，通過對可視化數據建模分析，利用數據挖掘等數據分析技術，實現數據的實時分析與管理，可為港口的決策提供及時、準確、權威的數據依據，使秦港能及時掌握市場環境的需求變化，從而能夠及時進行戰略調整，贏得市場先機。
港口煤炭物流大數據分析模型如圖1所示。
（2）基於OLAP的大數據多維分析技術
通過採用多維分析技術對港口煤炭物流大數據進行上卷、下鑽、切片、切塊、旋轉等分析操作，實現了數據從高維度抽象至低維度細節的全方位剖析展示，使分析者、決策者能從多個角度、多個側面觀察資料庫中的數據，有利於鑽取、挖掘數據潛藏的信息價值與內涵。
以秦港煤炭調進數據為例，應用多維分析技術可從委託人、公司、時間各維度分析數據，如下圖所示：
（3）系統可視化開發技術框架
採用商業智能軟體Tableau，沒有複雜的代碼編輯，控制台可完全自定義配置。在控制台上，不僅能夠監測信息，而且還提供完整的分析能力，通過導入業務系統數據信息，簡單拖放數據欄位信息即可形成可視化圖形。
3 平台構成
港口煤炭物流大數據可視化分析平台主要基於數據挖掘、中間件、可視化等技術實現港口煤炭物流大數據的集成、管理與應用。平台總體架構可以分為感知層、網絡層、數據存儲層、數據分析層與展示層。
（1）感知層：以秦皇島港物聯網設備、PLC等數據採集設備為基礎，實現數據的自動化採集，為數據應用提供數據來源。
（2）網絡層：以港口網絡為核心，基於網際網路、移動網際網路、WIFI等，實現數據通訊與實時數據採集。
（3）數據存儲層：面向業務構建主題資料庫，通過整個各個系統數據，構建基於數據挖掘的數據倉庫，大數據分析挖掘提供數據支撐。
（4）數據分析層：採用數據分析模型，利用數據挖掘、OLAP等技術，挖掘數據的關聯關係，實現數據聚類分析與預測，發現數據潛藏的規律與價值，通過蓋層實現整個平台數據的增值應用。
（5）數據展示層： 利用系統可視化開發框架，從數據多維分析、數據交互等多個方面對港口煤炭大數據進行挖掘、分析與展示，從而實現港口煤炭物流大數據的可視化管理。
4 實施效果
以港口煤炭物流數據為研究對象，對其進行業務建模，分析煤炭調進數據維度之間的關係，並利用可視化開發框架對數據進行可視化展現與交互，可以得到如圖4所示的煤炭可視化分析結果。
通過對煤炭調進數據進行挖掘、分析，可以從委託人層面分析煤炭調進業務量排名，各公司所占比例；從子公司層面，可以分析子公司各煤種調進業務量所占的比例；還可分析出煤炭從不同發貨公司按月或按日的調進詳細趨勢。
實際應用表明，平台為港口企業管理、決策、預警等提供全面可靠的數據支撐。
5 結 論
本文以日益增長的秦皇島港海量生產業務數據為研究對象，綜合運用大數據技術、可視化開發技術框架、數據挖掘技術，對生產數據進行多維分析挖掘與交互動態展示，促進了系統的智能思考，實現了秦皇島港煤炭大數據的增值輸出，為管理者的理性決策提供可靠、直觀的數據依據，有效地滿足了新形勢下港口的決策管理需要，促進了港口生產從勞動密集型向集約型管理的轉變。
參考文獻：
[1] 任磊，杜一，馬帥.大數據可視分析綜述[J].軟體學報，2014（9）：1909-1936.
[2] 沈漢威，張小龍，陳為.可視化及可視分析專題前言[J].軟體學報，2016（5）：1059-1060.
[3] 何賢國，孫國道，高家全.計程車GPS大數據的道路行車可視分析[J].計算機輔助設計與圖形學學報.2014（12）：2163-2172.
[4] 張繁，袁兆康，肖凡平.基於Spark的大數據熱圖可視化方法[J].計算機輔助設計與圖形學學報2016（11）：1881-1886.
[5] 徐計，王國胤，於洪.基於粒計算的大數據處理[J].計算機學報.2015（8）：1497-1517.
[6] 王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機學報，2013（6）：1125-1138.
[7] 沈國輝，孫麗卿，游大寧.智能調度系統信息綜合可視化方法[J].電力系統保護與控制，2014（13）：129-134.
[8] 郭曉波，趙書良，王長賓.一種新的面向普通用戶的多值屬性關聯規則可視化挖掘方法[J].電子學報，2015（2）：344-352.
收藏