高校數據中臺建設方案設計探討

導語：高校數據中臺建設方案設計探討一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：高校數據呈現多元化狀態，應用場景不斷被多樣化、碎片化、即時化的輕量級微服務解耦，業務部門要求實現跨平臺、跨部門協同辦公，提供高效的數據挖掘、分析與決策服務。傳統數據中臺無論從數據質量、體量還是供給方式上均不能滿足需求。針對存在的問題，設計了新型的數據中臺方案，提出構建采集數據、治理數據、發布數據、管理數據、分析數據五類能力，形成數據標準、數據資產、知識庫、數據處理和分析、制度規范五個體系，為解決數據的管、通、統三類核心問題和實現數據的全生命周期治理提供了一種新的解決思路。研究成果在一定程度上豐富了智慧校園研究內容，也可為高校信息化建設提供一定的理論參考和方法借鑒。

關鍵詞：數據中臺；數據治理；數據倉庫；數據服務；數據挖掘

隨著智慧校園的不斷發展，高校數據呈現多元化的狀態，各業務部門對數據的需求從原來單純的業務管理轉向數據分析決策與判斷，原來面向單一部門內部的管理轉向跨部門的流程服務，對實現數據互通、流程跨部門推進的需求越發突出［1－2］。此外，在大數據背景下，數據隱私與安全越發重要［3］。因此，傳統數據倉庫、數據共享中心無論從數據體量、數據質量還是供給模式上均已不能滿足高校當下對數據深層次挖掘、分析利用的需求，嚴重阻礙和限制了智慧校園的推進。鑒于此，本文有針對性地提出了高校數據中臺建設方案，解決數據管、通、統問題，形成從數據采集、清洗、治理、存儲、使用、管理等環節的閉環，降低數據使用門檻，實現數據真正為教學、科研、管理、服務而服務。

1數據中臺建設現狀

數據中臺是一個體系，也是一種解決方案，可以被定義為一個集數據采集、融合、清洗治理、組織管理、智能分析為一體，將數據以服務方式提供給前臺應用，以提升業務運行效率、持續促進業務創新為目標的整體平臺［4］。數據中臺的概念最早由阿里巴巴公司于2015年提出，2018年各大互聯網公司紛紛提出中臺戰略并隨之進行組織架構的調整，將“中臺”的概念推向了高潮［5］。目前，國內對數據中臺的研究趨于成熟，在互聯網、金融、電力、媒體等行業得到廣泛應用［6－8］。高校由于受到自身業務需求的限制，應用案例相對較少，但也取得了可觀的成績，如西安電子科技大學數據開放平臺、南京理工大學大數據分析平臺等。高等職業類院校起步較晚，但是發展迅猛，特別是自2018年推進整改工作以來，基本都已完成數據融合平臺和大數據分析平臺建設，形成了較為科學、規范的數據標準體系，實現了數據的初步治理與沉淀，構建了數據倉庫和共享數據中心，初步具備了數據中臺的規模。相比于國內，國外尚未推出數據中臺的概念，但是針對數據標準體系、數據治理、數據處理、數據服務等方面的研究相對成熟，廣泛地應用于高校教學、科研、管理和服務。

2傳統數據中臺建設模式及存在問題

高校是數據產生、擁有和使用的主體，面對繁雜、異構、字段內容缺失、難以關聯和分析等數據問題，進行了一系列數據融合、智慧校園基礎平臺、大數據分析與決策系統等項目建設。采用微服務架構，純B／S模式，建成了一站式網上服務大廳、統一身份認證系統、主數據平臺、數據交換平臺ODI、API服務總線、大數據分析與決策系統。確定了數據源和目標，構建了較為原始的集數據采集、轉換、清洗治理、存儲、管理、使用、展示為一體的數據中臺體系，基本上實現了信息標準化、服務一站化、業務流程化、數據模型化。但是，隨著智慧校園的不斷推進，應用場景不斷被多樣化、碎片化、即時化，往往需要針對某一簡單場景快速上線和應用，各職能部門需要實現跨平臺、跨部門協同辦公，對數據的使用需求和分析決策需求越發明顯。此外，移動化的普及對使用習慣的改變也催生了移動化辦公的轉變。這些不斷產生和變化的需求對智慧校園體系提出更高的要求。而反觀現有數據中臺體系顯然不能滿足需求，由于種種原因并沒有實現平臺價值的充分利用，存在諸多問題，歸納總結如下。1）數據中心黑盒運行，技術要求高，部門要數據，操作復雜。2）數據維度缺少，只考慮數據交換，數據價值未充分利用。只有結構化數據，忽視了非結構化數據。3）數據資源分散，師生重復填表。大量線下數據無法流動共享，數據來源缺乏權威。4）數據質量缺乏保障，難以為領導決策提供可信數據支撐，難以支持數據統計、分析，難以支持復雜的跨部門業務協作。

3高校數據中臺方案設計

數據中臺不是一個跨時代的全新理念，其建設基礎依然是數據倉庫和數據中心。為此，本文針對傳統數據中臺存在的問題，采用大平臺、微服務的智慧校園架構，提出更優的高校數據中臺解決方案。目的在于實現全局數據服務能力統一供給，充分支撐智慧校園體系中的各類信息化服務綜合應用和數據分析挖掘的需求。同時為解決數據的管、通、統3類核心問題提供理論依據和方法借鑒。其設計方案如圖1所示。圖1數據中臺體系·02·1）數據源層涵蓋高校常見的各類數據源，包括關系型DB、文本文件、syslog日志、二進制日志等數據，實現線上業務數據、線下業務數據、智能設備數據和互聯網數據的全量提取，在物理層面形成一個大的數據集。2）數據采集、處理層以需求為驅動，以數據多樣性的全域思想為指導，統一業務系統集成通道，確定人事、科研、學工、教學等數據唯一源頭，制定相應規范制度，確保數據來源唯一性。遵循并完善現行數據編碼體系，基于Hadoop生態體系，采集和治理全業務、多終端、多形態的數據，解決各類數據在邏輯層面的統一。3）數據倉庫平臺層對異構數據先進行分類存儲、分類治理、源頭治理，溯源數據血緣關系、質量關系，統一數據格式，再實現數據統一存儲，在物理層面形成一個大的數據倉庫。對于原有數據，抽取、清洗、治理后直接引入數據倉庫。4）數據治理輸出層構建統一數據治理體系，涵蓋數據標準構建、不同類別數據集成、數據質量檢測規則和評分體系、以及配套的數據管理規范制度等內容，實現數據的全生命周期治理，使得數據治理真正成為一個不斷循環和迭代的過程。5）數據應用層構建統一數據開放平臺，通過統一服務總線API接口供應數據。程序通過API調用直接訪問到數據源中的數據，無需本地再建數據庫，實現輕量級架構。同時，將不同來源、不同架構的數據進行統一的API封裝，屏蔽多數據源、多物理表、多查詢渠道、多出口供給的復雜性，實現數據與程序的松耦合架構，從而實現簡單應用場景的快速開發與上線。此外，構建數據庫體系和知識庫體系，真正降低數據使用門檻，為廣大師生、各業務部門、各級領導提供數據化、智能化的智慧校園服務。

4預期成效

本設計方案在傳統數據中臺體系基礎上，構建了新的更優的數據中臺體系，落地后應實現5類能力和5種體系，分別是構建采集數據、治理數據、發布數據、管理數據、分析數據5類能力；形成數據標準、數據資產、知識庫、數據處理和分析、制度規范5個體系。

5總結

以智慧校園建設為背景，分析了傳統數據中臺建設現狀與建設模式，針對存在的問題，提出新型的數據中臺解決方案，為解決數據的管、通、統3類核心問題和實現數據的全生命周期治理提供了一種新的解決思路。同時，智慧校園建設應構建采集數據、治理數據、發布數據、管理數據、分析數據5類能力，形成數據標準、數據資產、知識庫、數據處理和分析、制度規范5個體系。降低數據使用門檻，為廣大師生、各業務部門、各級領導提供數據化、智能化的智慧校園服務。隨著5G網絡、物聯網絡、大數據、人工智能等技術的不斷發展、普及及應用，數據中臺將會朝著數據更多樣、底層更智能、上層使用更簡單、應用更豐富的方向發展，在不久的將來，必將迎來各行各業依托數據中臺進行數字化轉型和構建數據智能應用的熱潮，而蓬勃發展的相關技術也將為數據中臺功能的完善與升級提供更多的可能性。

參考文獻

［1］李巍?。當祿信_技術在業務系統中的應用研究［J］．現代信息科技，2019，3（21）：108－110．

［2］畢強，朱亞玲．元數據標準及其互操作研究［J］．情報理論與實踐，2007，（5）：666－670．

［3］CAIYH，LIY，QIUCY，etal．MedicalImageRe－trievalBasedonConvolutionalNeuralNetworkandSupervisedHashing［J］．IEEEAccess，2019，（7）：51877－51885．

［4］蘇萌，賈喜順，杜曉夢，等．數據中臺技術相關進展及發展趨勢［J］．數據與計算發展前沿，2019，1（5）：116－126．

［5］鄧中華．大數據大創新：阿里巴巴云上數據中臺之道［M］．北京：電子工業出版社，2018：4－33．

［6］孫建平．大數據服務賦能農業銀行數字化轉型［J］．農銀學刊，2019（2）：4－7．

［7］林鴻，方學民，袁葆，等．電力物聯網多渠道客戶服務中臺戰略研究與設計［J］．供用電，2019，36（6）：39－45．

［8］韓嫕，展祎萌，李義彪．電力物聯網多渠道客戶服務中臺戰略研究與設計［J］．現代電視技術，2019（6）：90－93．

［9］辛慧娟，肖軍．基于NB－IoT技術的多傳感器數據采集系統設計［J］．微型電腦應用，2020，36（12）：35－37．

［10］王曉晗．基于Hadoop技術的遠程教學智慧云平臺設計［J］．微型電腦應用，2021，37（11）：90－93.

作者：呂忠亭 崔巍 劉洋 張婕 單位：延安職業技術學院 延安大學 物理與電子信息學院