數(shù)據(jù)管理
數(shù)據(jù)管理[1]是利用計(jì)算機(jī)硬件和軟件技術(shù)對(duì)數(shù)據(jù)進(jìn)行有效的收集、存儲(chǔ)、處理和應(yīng)用的過(guò)程。其目的在于充分有效地發(fā)揮數(shù)據(jù)的作用。實(shí)現(xiàn)數(shù)據(jù)有效管理的關(guān)鍵是數(shù)據(jù)組織。隨著計(jì)算機(jī)技術(shù)的發(fā)展,數(shù)據(jù)管理經(jīng)歷了人工管理、文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)三個(gè)發(fā)展階段。在數(shù)據(jù)庫(kù)系統(tǒng)中所建立的數(shù)據(jù)結(jié)構(gòu),更充分地描述了數(shù)據(jù)間的內(nèi)在聯(lián)系,便于數(shù)據(jù)修改、更新與擴(kuò)充,同時(shí)保證了數(shù)據(jù)的獨(dú)立性、可靠性、安全性與完整性,減少了數(shù)據(jù)冗余,故提高了數(shù)據(jù)共享程度及數(shù)據(jù)管理效率。
百分網(wǎng)數(shù)據(jù)管理的三個(gè)階段
一,人工管理階段
20世紀(jì)50年代中期以前,計(jì)算機(jī)主要用于科學(xué)計(jì)算,這一階段數(shù)據(jù)管理的主要特征是:
(1),數(shù)據(jù)不保存。由于當(dāng)時(shí)計(jì)算機(jī)主要用于科學(xué)計(jì)算,一般不需要將數(shù)據(jù)長(zhǎng)期保存,只是在計(jì)算某一課題時(shí)將數(shù)據(jù)輸入,用完就撤走。不僅對(duì)用戶數(shù)據(jù)如此處置,對(duì)系統(tǒng)軟件有時(shí)也是這樣。
(2),應(yīng)用程序管理數(shù)據(jù)。數(shù)據(jù)需要由應(yīng)用程序自己設(shè)計(jì)、說(shuō)明和管理,沒(méi)有相應(yīng)的軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)的管理工作。
(3),數(shù)據(jù)不共享。數(shù)據(jù)是面向應(yīng)用程序的,一組數(shù)據(jù)只能對(duì)應(yīng)一個(gè)程序,因此程序與程序之間有大量的冗余。
(4),數(shù)據(jù)不具有獨(dú)立性。數(shù)據(jù)的邏輯結(jié)構(gòu)或物理結(jié)構(gòu)發(fā)生變化后,必須對(duì)應(yīng)用程序做相應(yīng)的修改,這就加重了程序員的負(fù)擔(dān)。
二,文件系統(tǒng)階段
20世紀(jì)50年代后期到60年代中期,這時(shí)硬件方面已經(jīng)有了磁盤(pán)、磁鼓等直接存取存儲(chǔ)設(shè)備;軟件方面,操作系統(tǒng)中已經(jīng)有了專門(mén)的數(shù)據(jù)管理軟件,一般稱為文件系統(tǒng);處理方式上不僅有了批處理,而且能夠聯(lián)機(jī)實(shí)時(shí)處理。用文件系統(tǒng)管理數(shù)據(jù)具有如下特點(diǎn):
(1),數(shù)據(jù)可以長(zhǎng)期保存。由于大量用于數(shù)據(jù)處理,數(shù)據(jù)需要長(zhǎng)期保留在外存上反復(fù)進(jìn)行查詢、修改、插入和刪除等操作。
(2),由文件系統(tǒng)管理數(shù)據(jù)。
同時(shí),文件系統(tǒng)也存在著一些缺點(diǎn),其中主要的是數(shù)據(jù)共享性差,冗余度大。在文件系統(tǒng)中,一個(gè)文件基本上對(duì)應(yīng)于一個(gè)應(yīng)用程序,即文件仍然是面向應(yīng)用的。當(dāng)不同的應(yīng)用程序具有部分相同的數(shù)據(jù)時(shí),也必須建立各自的文件,而不能共享相同的數(shù)據(jù),因此數(shù)據(jù)冗余度大,浪費(fèi)存儲(chǔ)空間。同時(shí),由于相同數(shù)據(jù)的重復(fù)存儲(chǔ)、各自管理,容易造成數(shù)據(jù)的不一致性,給數(shù)據(jù)的修改和維護(hù)帶來(lái)了困難
三,數(shù)據(jù)庫(kù)系統(tǒng)階段
20世紀(jì)60年代后期以來(lái),計(jì)算機(jī)管理的對(duì)象規(guī)模越來(lái)越大,應(yīng)用范圍有越來(lái)越廣泛,數(shù)據(jù)量急劇增長(zhǎng),同時(shí)多種應(yīng)用、多種語(yǔ)言互相覆蓋地共享數(shù)據(jù)集合的要求越來(lái)越強(qiáng)烈,數(shù)據(jù)庫(kù)技術(shù)邊應(yīng)運(yùn)而生,出現(xiàn)了同意管理數(shù)據(jù)的專門(mén)軟件系統(tǒng)——數(shù)據(jù)庫(kù)管理系統(tǒng)。
用數(shù)據(jù)庫(kù)系統(tǒng)來(lái)管理數(shù)據(jù)比文件系統(tǒng)具有明顯的優(yōu)點(diǎn),從文件系統(tǒng)到數(shù)據(jù)庫(kù)系統(tǒng),標(biāo)志著數(shù)據(jù)庫(kù)管理技術(shù)的飛躍。
百分網(wǎng)面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理
前面講到數(shù)據(jù)管理經(jīng)歷了人工管理、文件管理、數(shù)據(jù)庫(kù)管理等三個(gè)階段,主要是利用計(jì)算機(jī)硬件和軟件技術(shù)對(duì)數(shù)據(jù)進(jìn)行有效的收集、存儲(chǔ)、處理和應(yīng)用的過(guò)程。隨著信息技術(shù)的進(jìn)步,管理信息系統(tǒng)將面向大規(guī)模的組織提供業(yè)務(wù)支持,不僅要覆蓋整個(gè)組織的各類業(yè)務(wù),而且要覆蓋整個(gè)組織(全球或者全國(guó))。為此,作為管理信息系統(tǒng)的核心功能,數(shù)據(jù)管理將要進(jìn)入一個(gè)新的階段,即面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理。
面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理概念。
數(shù)據(jù)管理,即對(duì)數(shù)據(jù)資源的管理。按照en:DAMA的定義:“數(shù)據(jù)資源管理,致力于發(fā)展處理企業(yè)數(shù)據(jù)生命周期的適當(dāng)?shù)慕?gòu)、策略、實(shí)踐和程序”。這是一個(gè)高層而包含廣泛的定義,而并不一定直接涉及數(shù)據(jù)管理的具體操作(摘自維基百科)。與百度百科的定義比較,百度百科的定義針對(duì)的是數(shù)據(jù)應(yīng)用過(guò)程中數(shù)據(jù)的管理,即傳統(tǒng)的數(shù)據(jù)管理,而維基百科的定義更高一層,針對(duì)的是企業(yè)數(shù)據(jù)全生命周期所涉及應(yīng)用過(guò)程數(shù)據(jù)的管理,即對(duì)數(shù)據(jù)變化的管理,或者說(shuō)是針對(duì)描述數(shù)據(jù)的數(shù)據(jù)(元數(shù)據(jù))的管理,在此我們稱之為面向應(yīng)用的數(shù)據(jù)管理。
根據(jù)管理學(xué)理論,幾個(gè)人的團(tuán)隊(duì)可以靠自覺(jué)、自律,幾十個(gè)人就要有人管理,幾百個(gè)人就要有一個(gè)團(tuán)隊(duì)管理,幾千或幾萬(wàn)人就必須要依靠計(jì)算機(jī)輔助團(tuán)隊(duì)管理。通常覆蓋全國(guó)的企業(yè)和機(jī)構(gòu),其整個(gè)組織的管理分為總部機(jī)構(gòu)、省級(jí)機(jī)構(gòu)、市級(jí)機(jī)構(gòu)、以及基層機(jī)構(gòu)等等各層級(jí)機(jī)構(gòu);在每個(gè)層級(jí)機(jī)構(gòu)中還設(shè)置了直接從事相應(yīng)業(yè)務(wù)的管理和職能部門(mén)和非直接從事業(yè)務(wù)的管理和職能部門(mén)(如人事、辦公、后勤、審計(jì)等);每個(gè)部門(mén)又是由若干員工為管理對(duì)象構(gòu)成的。同時(shí),還制定了一系列的制度去規(guī)范和約束機(jī)構(gòu)、部門(mén)、人員等管理對(duì)象的活動(dòng)、行為等。
同樣,數(shù)據(jù)管理隨著管理對(duì)象——數(shù)據(jù)的增加,管理的方式(階段)也會(huì)隨之提升。通常的大型管理信息系統(tǒng),其整個(gè)項(xiàng)目分為總集成、分項(xiàng)目、子項(xiàng)目、每個(gè)子項(xiàng)目又有若干內(nèi)部項(xiàng)目組等等管理層級(jí);在每個(gè)管理層級(jí)中都涉及直接服務(wù)于業(yè)務(wù)的業(yè)務(wù)功能(如業(yè)務(wù)交易、賬務(wù)處理、行政管理、結(jié)果展現(xiàn)等等)和非直接服務(wù)于業(yè)務(wù)的非業(yè)務(wù)功能(如定義、配置、監(jiān)控、分析、記錄、調(diào)度等等);每個(gè)業(yè)務(wù)和非業(yè)務(wù)性質(zhì)的功能又分別由若干數(shù)據(jù)集合為對(duì)象(如流程、表單、數(shù)據(jù)項(xiàng)、算法、元數(shù)據(jù)、日志等等)所構(gòu)成的。同時(shí),也需要制定一系列制度、規(guī)則和標(biāo)準(zhǔn)去約束項(xiàng)目、功能、數(shù)據(jù)等管理對(duì)象的活動(dòng)和變化。
由此可見(jiàn),傳統(tǒng)的數(shù)據(jù)管理側(cè)重的數(shù)據(jù)對(duì)象是流程、表單、數(shù)據(jù)項(xiàng)、算法等直接面向具體業(yè)務(wù)需求的數(shù)據(jù);面向應(yīng)用的數(shù)據(jù)管理所涉及的數(shù)據(jù)對(duì)象,還增加了通過(guò)標(biāo)準(zhǔn)化的手段,描述流程、表單、數(shù)據(jù)項(xiàng)、算法等應(yīng)用對(duì)象的數(shù)據(jù)(即它們對(duì)應(yīng)的元數(shù)據(jù)),以及記錄各類數(shù)據(jù)變化結(jié)果的檔案、記錄運(yùn)行狀態(tài)的日志等等非直接面向業(yè)務(wù)的數(shù)據(jù),以實(shí)現(xiàn)對(duì)各類應(yīng)用業(yè)務(wù)需求的加載、變化、記錄、復(fù)用等過(guò)程的管理。