“大數據”時代計算機信息處理技術探索

時間:2022-02-07 02:54:10

導語:“大數據”時代計算機信息處理技術探索一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。

“大數據”時代計算機信息處理技術探索

現代社會中無論是計算機的硬件設施還是軟件的技術水平的提升不斷更新換代,大量數據應運而生,數據機構和數據的儲存不斷的發生著巨大的變化。創新的數據的不斷升級為計算機信息處理技術提出了更高的要求,同時帶來了更大的機遇和挑戰。對于數據處理的準確性和高效性,提供了幫助,進而使他被運用的數量和重視的程度都非常高。

1“大數據”的概念與特點

1.1大數據的概念

大數據時代,信息的數據量不斷的上漲,這樣等待處理的數據十分龐大,目前的計算機主流軟件在短時間內無法實現對其進行獲取、處理、存儲、傳輸、管理等方面的功能,它不僅包括數據量大,同時還包括數據比較難以處理、復雜多樣,同時在處理的過程中,還會出現數據處理的重復性。對于大數據的數據量大到什么程度,目前還沒有一個統一的標準,一般認為數據量在10TB-1PB(1TB=1024GB,1PB=1024TB)以上的數據為大數據。

1.2大數據的特點

1.2.1數量大

大數據的產生是基于大量數據信息處理而產生的,需要運用計算機技術處理數據的量越來越大,從TB及已經發展到PB技術的數據處理。

1.2.2速度快

海量的數據,就需要高速度的對數據進行處理,這樣才能滿足使用者對信息數據的需求,如果大數據的處理出現滯后,將不利于信息的傳播與擴散。

1.2.3種類多

隨著信息技術在生活應用中普及,現代人們對信息的需求日益多樣化,信息數據的來源也越來越多樣化,結構化和半結構化的原始數據也出現了多樣化,使得大數據呈現出多樣化的發展趨勢。

2“大數據”時代的計算機信息處理技術要點

2.1分布式處理技術

分布式數據處理,主要是為了實現數據的分布式存儲和處理的一種方式,它是由谷歌公司提出的GFS技術。它采用了存儲列的概念,對數據進行存儲后以列為單位,這種技術特點是,循環利用的效率比較高,數據信息的壓縮比較快,這種存儲結構是采用了行列混合的方式,能夠快速的縮短數據的查詢時間和加載海量數據的實際,更加能夠把利用磁盤空間提升到最高。目前,分布式處理技術在百度、IBM得到了廣泛的應用。

2.2信息安全處理技術

數據飛速發展的時代,相互關聯的數據結構從各種數據信息原來獨立的形式中脫穎而出,也正是由于關聯結構的影響,無論是那一個數據出現問題,伴隨其他數據也會受影響而變化。硬件性能在計算機處理技術中經常會起到干擾問題,在大數據安全管理工作的性能中沒有完全得到需求,與此同時,這種方式卻為計算機網絡技術的發展制造了良好條件。不斷的發展的信息安全技術為保證大數據信息的安全提供了前提。單個數據或者是單個數據的基礎之上不適合建立對信息的安全管理,最重要的是對整個全面的信息系統進行有效管理,正是這種方式,為計算機信息處理技術帶來了很大的發展機遇,與此同時也有一定的挑戰。

2.3大數據中的數據存儲處理技術

隨著網絡的日益普及越來越多的內容諸如視頻、影像以及虛擬化等等,他們的數據不斷的上漲,這是一個巨大的挑戰對于存儲數據技術而言。在以往的普通數據存儲過程中對于計算機網絡性能要求并不是很高,因為他的存儲量是普遍比較小的,一般的計算機就可以滿足這些數據的需求的要求,但是對于出現的非常大的數據而言這樣的性能就很難保證存儲的效率和容量了。但是如果大數據的存儲中應用了普通數據存儲技術,那就會造成資源的浪費,所以需要結合當前大數據中的性質特點,對于大數據的存儲應該采取新的存儲方法大大提升大數據信息的存儲中的穩定性和存儲信息的快捷性。

2.4聚類分析技術和分類分析技術的特點

在沒有明確數據點的前提下,將數據集中在一起分為很多個對象組,然后對每一組對象進行數據分析,進行實現綜合去查詢數據,這就是聚類分析技術。類分析和聚類分析技術在數據挖掘方面應用的比較廣泛。把信息的數據點進行歸類總結,在綜合數據點之后形成新的數據點,在對他們進行明確的假設和客觀結構預測,最終大大預測未來信息的發展的要求,這就是分類分析技術。

2.5數據分析技術

數據分析技術在大數據處理中具有十分重要作用,它是一種應用比較廣泛的數據處理技術主要包括了網絡的分析技術、空間的分析技術、數據時域的序列分析技術、數據回歸的分析技術以及情感的分析技術等等。在這些數據分析技術當中,對自然語言進行編碼分析的技術是情感分析技術;在網絡的特征基礎之上對數據的特征進行分析的技術是網絡分析技術。將網絡拓撲、地理和幾何當中的數據編碼技術有機的融合在一起,對數據進行綜合分析的統計技術是空間分析技術。

2.6大數據時代,云計算被廣泛認可

大數據時代日益發展,云計算也被大家普遍認可和接受,不斷被普及與人,這樣就讓云服務的浪潮趨勢不斷上漲。云計算把傳遞過來的信息數據,擬定云平臺,互通電子數據進行整合管理。在云平臺上可上傳信息、下載必要信息等任意操作。云計算具有打破常規,不斷提升自身服務,對自身成長不斷的挖掘,遵循自主創新的原則,不斷的提高日常中常用的流程性能,進行創新性的整合。

2.7新穎的數據挖掘。在搜索過程中提煉出大量的數據,對于這類數據進行分別解析,尋找內在的規律性。這就是數據挖掘涵蓋的范疇。目前大部分企業自身擁有的數據庫單純只能進行錄入數值、查驗并且統計這些功能。很難在大量搜集得出的數值當中提煉出有價值必備的信息,更難總結出查找規律的潛在信息。遵循這種發展很難把深層次的規律進行深挖,也就很難進行規律的表達??傮w上來看,數據挖掘可以分為初始預備階段、探求潛在規律、表示這一規律等這三個時段。數據挖掘為決策流程內增添了的更多的便利。當在大量數據中,又缺失了信息,這種情況下就可以求救于這樣的數據挖掘。原因是因為,如果能夠精準的辨別出信息的要點,就可以很快的挖掘出潛藏深處的必要信息,這樣就更能進行正確的抉擇。綜上所述,當今時代的大數據處理技術,對計算機信息處理技術提出了更高的挑戰和更高的要求,需要采取比較復雜的信息技術對海量的技術進行分析,需要運用計算機技術建立真正適應大數據時代的網絡系統和信息處理系統。

作者:童建 單位:云南工商學院

參考文獻:

[1]崔杰,李陶深,蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發[J].計算機研究與發展,2012,49(zl):12~18.

[2]耿秋,孟劍.大數據時代機遇和挑戰[J].中國新時代,2012:172.