大數據技術中心建設規劃探討

導語：大數據技術中心建設規劃探討一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

[近幾年來互聯網以及物聯網技術的發展非常迅速，整個社會生產生活中的數據規模在急劇的膨脹。針對海量的數據進行有效的采集、存儲、處理、分析已經逐漸成為了當今信息社會發展的主要趨勢。大數據技術能夠實現對海量數據全生命周期內的存儲以及處理，因此必須要針對大數據的處理方法以及處理能力進行不斷的挖掘。但是建立基于大數據技術的新處理方法是一件非常復雜的事情。必須要建立起具有較強開放性并實現軟硬件有效結合的綜合性體系構架。

1總體規劃

1.1設計原則。在實際建設大數據技術的云數據中心時，必須要摒棄傳統模式下，建設數據中心的弊端，要充分綜合整合化、標準化、模塊化、虛擬化、自動化以及面向服務的整體建設思路[1]。1.1.1需求導向原則。要充分結合信息發展的總體規劃來進行數據資源中心系統軟硬件支撐平臺的建設，鑒于此，就必須要對短時間內需要完成的信息系統對軟硬件功能以及實際性能的需求進行充分綜合，以實際需求作為基本原則，并實現按照需求來進行整體分配，統一規劃。1.1.2整合共享原則。要針對傳統建設數據中心過程中存在的分散性、重復性建設問題進行有效改善，進一步提升數據資源的利用效率，這樣才能充分滿足當前信息資源整合不斷變化的需求，也能夠將數據信息管理的難度復雜程度降低到最低，也能夠實現對IT總擁有成本的有效控制。1.1.3服務高效原則在實際針對數據資源中心軟硬件支撐平臺進行建設以及管理的過程中，其不同的生命周期階段實際服務的內容具有較大差異性，必須要針對數據資源中心建立起統一的基礎設施運維管理體系，并實現對服務流程的進一步規范，對相關操作規程進行進一步明確，這樣才能有效提升服務效率。1.2總體構架。充分結合云計算、大數據等先進技術來構建起面向生產運行服務的數據中心系統以及數據平臺。其中要將基礎設施、數據資源、大數據、云計算平臺、業務應用、安全防護等幾個部分包括在內。大數據及云計算平臺的主要作用是將各個生產環節以及各項業務所輸出的數據進行采集和存儲。在此基礎上針對數據進行篩選、多維度分析處理，來完成整個原始數據的初步處理[2]。充分利用數據平臺的數據挖掘以及分析能力對采集數據進行深度挖掘，并將最終的分析結果利用數據分析門戶傳輸到用戶終端實現應用。整個數據中心能夠為用戶提供全方位的資源管理和監控服務，而且能夠充分借助3D仿真以及2D拓撲等多種方式為用戶提供全方位的系統管理服務。通過安全防護功能能夠讓整個系統實現安全運行，與此同時，在數據中心建立的基礎上，能夠為用戶提供一個基于大數據以及云計算的運算、開發以及管理平臺。在此平臺基礎上，用戶就能夠從應用與業務、系統與平臺、硬件與資源等多個方向實現進一步拓展，這樣就能夠為用戶提供能夠實現靈活配置的計算、網絡、存儲等資源服務。

2基礎設施

在未來的系統研發以及運行過程中基礎設施是非常重要的一個平臺，充分利用基礎設施能夠為系統研發提供平臺以及設備托管服務；而且也能夠為業務、系統的開發提供具備更高性能的計算、網絡以及存儲環境，這樣就能夠為后期進行大數據開發提供先進的技術支撐。整個數據中心可以嚴格的劃分為存儲區、計算區、網絡區等，在充分綜合演示匯報、系統運維以及安全系統等各項基本功能之外就能夠讓數據中心處理平臺更加完善。

3大數據平臺

大數據平臺的主要作用就是為用戶提供大數據的相關存儲管理以分析處理功能。不同類型的大數據在經過數據信息交互服務之后進入到信息交換區中。信息交換區接受數據之后就可以將相關的數據進行采集，并將其推送到相關的業務系統中。3.1數據存儲分類。業務應用大數據格式主要可以分為非結構化以及結構化兩種數據類型。其中非結構化數據主要采取的是分布式存儲模式，針對其容錯存儲主要采取的是網絡編碼方式，這樣就能夠讓容錯存儲的代價得到最大程度控制；而結構化數據再充分結合相關核心業務的數據庫實際業務需求基礎上實現了分類管理。針對后期階段研判以及在進行大數據分析和挖掘過程中實際需要的各項數據都是在分布式數據庫中進行存儲；而針對各項核心業務實際需求的數據主要是通過數據清晰轉換之后將其在相應的業務數據庫中進行存儲。3.2部署方案。管理節點：針對安裝了集群的管理系統，可以為系統提供統一的入口，同時還要針對部署在集群中的所有節點以及相應的服務進行集中的管理?？刂乒濣c：主要的作用是針對監控數據的節點完成數據相關的存儲、接收、發送等相關的進程，并針對控制節點完成相應的公共功能。數據節點：針對相應的管理節點發出相應指令，并將相關的任務狀態進行上報，對數據進行合理的存儲，針對數據節點相應的公共功能進行嚴格執行。33分布式并行處理。在分布式并行處理中主要包括了數據清洗標準化、數據關聯融合以及數據深度分析等多個模塊[3]。在實際針對不同模塊進行設計的過程中要充分結合實際業務動態變化的實際需求來具體定制相關的功能邏輯。分布式并行處理能夠為整個系統提供比較前沿的并行計算框架，而且也能夠很好的支持高性能的分析計算，而且也能夠在數據中心中部署計算量相對較大的相關任務，也能夠同時提供一些具備批量計算處理的框架、3.4內存分析引擎。其能夠為充分利用內存計算來提供一種高校的查詢引擎，但是基礎上就能夠實現快速分析和查詢，在一些對實時性要求比較高的場合具有較強的適應性。與此同時還能夠為系統提供SQL查詢接口，這樣充分利用SQL語句，就能夠實現數據新建、數據插入、數據查詢以及數據刪除等相關操作。3.5組網方案。首先將整個網絡劃分為業務以及管理平面，針對這兩個不同的平面主要采取的是物理隔離的方式來進行部署，要充分保證業務、管理等兩個網絡的安全習慣。這對整個網絡的主要節點還要必須要設置能夠支持外部管理網絡的IP地址，這樣用戶就可以充分利用外部的管理網絡來實現對整個網絡的集群管理。組網設計如果采取的是平面組網方式的時候，整個集群中的每一個節點分別接入到管理以及業務平面中，還要這對每一個節點有針對性的準備相應的管理以及業務IP地址，針對每一個IP地址主要采用了2個網絡接口的配置Bond，并針對不同的IP地址還要接入相應的交接機。3.6硬盤分區原則。如果實際建設的集群節點實際的規模相對比較達的時候，就很可能會是哦IO實際的負載高很逗，針對管理節點的元數據可以合理的采用的分盤模式。如果在元數據分區中實際部署多塊磁盤的時候，要優先針對Zookeeper中所有的數據目錄專門的配置相應的Zookeeper數據存在磁盤，或者還可以針對數據目錄配置相應的ssd存儲。3.7實時流處理。在該模塊中主要包括了研判模型建立及數據分析。根據研判模型必須要充分保證其定義模型滿足相關的擴展性，而且也能夠針對后期新業務開展中實際研判需求進行動態擴展。與此同時還能夠支持針對數據的實時分析處理以及持久化處理。

4結語

目前我國正在不斷強化各個省市的大數據基地布局，而且大數據項目的建設也在不斷加速。而大數據產業的快速發展不僅需要基礎建設的支撐，與此同時還需要在人才、技術、標準的各個方面實現多方位支持。大數據產業的發展目前還面臨著較大的挑戰。

【參考文獻】

[1]牛正光.大數據對政府治理現代化的影響研究[D].北京：中國農業大學,2017.

[2]趙一鵬.基于大數據技術的電力物資需求分析系統的設計與實現[D].北京：中國科學院大學(中國科學院沈陽計算技術研究所),2017.

[3]楊靖雯.大數據戰略下邊疆政府治理的技術變革研究[D].昆明：云南師范大學,2017.

作者:許金元 單位:湖南機電職業技術學院