船舶大數據物聯網數據挖掘研究

導語：船舶大數據物聯網數據挖掘研究一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要:海上監測平臺通過傳感器網絡獲取大量的海洋環境數據和船舶航行數據，由于作業平臺的網絡不穩定，數據來源廣、類型多，不便于管理，因此，設計合理的船舶數據平臺管理系統有重要意義。本研究充分結合物聯網技術和傳感器融合技術，對船舶大數據平臺的數據管理和數據挖掘進行了系統的研究，并設計了一種聚類數據挖掘算法和數據挖掘引擎。

關鍵詞：大數據臺；物聯網；傳感器融合；數據挖掘

海上船舶監測平臺通過采集海域內船舶航行信息和海上氣象信息，為海上交通管理和船舶導航提供關鍵信息。由于海上監測平臺的工作環境惡劣，易受到臺風、海浪等氣象環境的影響，且監測平臺的數據采集量大，網絡傳輸不穩定。因此，海上船舶監測平臺的數據管理系統必須具有穩定的網絡傳輸性能和數據存儲能力[1]。本文詳細介紹了海上船舶監測平臺的數據采集網絡和數據管理系統，并基于物聯網技術設計了一種數據挖掘算法和數據挖掘引擎。

1船舶大數據平臺的數據采集網絡研究

近年來，隨著計算機技術和信息技術的高速發展，智能化設備、物聯網等技術在船舶工業的應用越來越廣泛，船舶監測平臺采集、分析和處理數據的能力越來越強，數據的規模和類型也呈指數式增長。在海上船舶監測平臺上，為了獲得全面的海域內船舶和航線信息，必須建立覆蓋范圍大的數據采集網絡，如圖1所示。數據采集網絡的節點分為傳感器節點、匯聚節點、管理節點等不同類型，信息的傳輸基于IEEE802.11協議。該數據采集網絡具有組網方便、功率損耗小、成本低等優點，在該網絡的覆蓋范圍內可以實現船舶航行速度、位置、氣象條件等信息的準確采集。

2基于船舶大數據平臺的物聯網數據挖掘研究

2.1船舶大數據平臺的數據管理系統。海上船舶監測平臺的數據管理方案為：基于IEEE802.11協議建立數據傳輸通道，使多個船舶監測平臺與數據服務器之間實現數據的快速傳輸，并將監測平臺的多元異構數據流[2]自動處理和保存。此外，船舶大數據平臺充分結合云計算和物聯網技術，設計了數據平臺監測系統，提高了數據傳輸和數據處理的效率。圖2為船舶大數據平臺的數據管理系統結構與組成。船舶大數據平臺的數據管理系統包括以下幾個單元：1）硬件管理單元數據管理系統的硬件管理單元主要功能為采集和分析海洋平臺的相關運行參數、傳感器網絡的類別與型號、數據傳輸網絡的協議管理等，保障船舶大數據平臺的硬件正常運行。2）用戶管理單元用戶管理單元主要負責對大數據平臺終端的用戶進行管理與協調，并根據不同用戶的分類級別授予不同的數據庫訪問權限，同時，用戶管理單元還可以針對某些特定用戶組進行數據庫的訪問限制，提高數據庫系統的安全性。3）監測與維護單元數據庫管理系統的監測與維護模塊可以調整平臺的監測方案和內容，審查和修改用戶訪問數據庫的權限。4）數據傳輸管理單元數據傳輸管理單元主要負責管理數據平臺的信號傳輸過程，對數據采集網絡中的傳感器節點進行數據格式的升級。此外，傳輸管理單元還可以通過壓縮數據，提高數據傳輸的效率。5）輸入、輸出管理單元該單元的功能包括輸入數據的格式解析、關鍵信息提取、數據儲存路徑選擇等，對傳感器網絡的數據融合有重要意義。2.2數據挖掘算法。數據挖掘是發現新知識的重要環節，通過建立合理的挖掘模型和算法，數據挖掘技術可以進一步提取數據庫中的有用信息。常見的數據挖掘模型包括分類挖掘、聚類挖掘、決策樹挖掘等，不同的數據挖掘算法側重的數據挖掘類型各不相同。本文針對船舶大數據平臺的特點，采用了經典的EM算法進行數據挖掘[3]，具體如下：首先，假定EM算法含有m條d維的數據集合，數據挖掘的終止閾值為ε。第1步，對于每條數據記錄x，計算x從屬于h聚類概率如下式：p(x)=p′(x)fv(xγ•∑x=Dh)n∑i=1p′(x)•fv(x)。第2步，根據聚類概率更新混合模型如下式：P(x)=∑x=Dp(x)•x∑x=Dp′(x)，∑h=∑x=Dp(x)•(x−h)∑x=Dp′(x)，h=1，2，..n。|L(p)−L(p′第3步，計算終止條件)|⩽ε，（L（t）為閾值函數）如果符合，則算法結束。EM數據挖掘算法的迭代過程可用圖3表示。2.3船舶大數據平臺的數據挖掘系統引擎設計。為了提高船舶大數據平臺的數據挖掘水平，本文一方面改進了基于物聯網的數據管理系統，另一方面設計了新型的數據挖掘引擎。引擎是數據挖掘技術的核心，良好的數據挖掘引擎有助于改善數據挖掘的效率，快速完成數據的集群配置、分析等工作。本文在設計數據挖掘引擎時，主要考慮兩部分設計要求：其一，數據挖掘引擎必須具有優異的數據處理能力；其二，挖掘引擎具有友好、易用的用戶接口。本文設計的數據挖掘引擎層次結構主要包括引擎層、用戶層和中間層3部分。1）引擎層本文基于Linux開發環境下的Spark集群，設計了數據挖掘的引擎層，并通過Zookeeper配置集群的項目管理，對Kalfka、Flume等數據格式有良好的輸入輸出接口[4]。2）中間層中間層的功能包括遠程數據調用管理、RPC管理等。中間層節省了大數據平臺的數據挖掘任務遠程提交過程，可實現任務的本地調用，提高了大數據平臺的工作效率。3）用戶層用戶層位于數據挖掘引擎的最上層，直接與用戶進行交互。本文在設計用戶層時，采用Python編程語言和HTML插件，設計了一種人機交互性良好的用戶界面。

3結語

隨著計算機技術和物聯網技術的迅速發展，海上船舶監測平臺的數據管理系統迎來了重要的技術革新。本文針對海上監測平臺的網絡不穩定、數據來源廣、數據類型多等問題，設計了一種基于物聯網的數據管理系統，并設計了EM數據挖掘算法和數據挖掘引擎，有效的改善了船舶大數據平臺的數據分析、處理能力。

作者:高明浩 單位:日照職業技術學院