數(shù)據(jù)管理

數(shù)據(jù)管理[1]是利用計(jì)算機(jī)硬件和軟件技術(shù)對(duì)數(shù)據(jù)進(jìn)行有效的收集、存儲(chǔ)、處理和應(yīng)用的過(guò)程。其目的在于充分有效地發(fā)揮數(shù)據(jù)的作用。實(shí)現(xiàn)數(shù)據(jù)有效管理的關(guān)鍵是數(shù)據(jù)組織。隨著計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)管理經(jīng)歷了人工管理、文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)三個(gè)發(fā)展階段。在數(shù)據(jù)庫(kù)系統(tǒng)中所建立的數(shù)據(jù)結(jié)構(gòu)，更充分地描述了數(shù)據(jù)間的內(nèi)在聯(lián)系，便于數(shù)據(jù)修改、更新與擴(kuò)充，同時(shí)保證了數(shù)據(jù)的獨(dú)立性、可靠性、安全性與完整性，減少了數(shù)據(jù)冗余，故提高了數(shù)據(jù)共享程度及數(shù)據(jù)管理效率。

百分網(wǎng)數(shù)據(jù)管理的三個(gè)階段

一，人工管理階段

20世紀(jì)50年代中期以前，計(jì)算機(jī)主要用于科學(xué)計(jì)算，這一階段數(shù)據(jù)管理的主要特征是：

(1)，數(shù)據(jù)不保存。由于當(dāng)時(shí)計(jì)算機(jī)主要用于科學(xué)計(jì)算，一般不需要將數(shù)據(jù)長(zhǎng)期保存，只是在計(jì)算某一課題時(shí)將數(shù)據(jù)輸入，用完就撤走。不僅對(duì)用戶數(shù)據(jù)如此處置，對(duì)系統(tǒng)軟件有時(shí)也是這樣。

(2)，應(yīng)用程序管理數(shù)據(jù)。數(shù)據(jù)需要由應(yīng)用程序自己設(shè)計(jì)、說(shuō)明和管理，沒(méi)有相應(yīng)的軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)的管理工作。

(3)，數(shù)據(jù)不共享。數(shù)據(jù)是面向應(yīng)用程序的，一組數(shù)據(jù)只能對(duì)應(yīng)一個(gè)程序，因此程序與程序之間有大量的冗余。

(4)，數(shù)據(jù)不具有獨(dú)立性。數(shù)據(jù)的邏輯結(jié)構(gòu)或物理結(jié)構(gòu)發(fā)生變化后，必須對(duì)應(yīng)用程序做相應(yīng)的修改，這就加重了程序員的負(fù)擔(dān)。

二，文件系統(tǒng)階段

20世紀(jì)50年代后期到60年代中期，這時(shí)硬件方面已經(jīng)有了磁盤(pán)、磁鼓等直接存取存儲(chǔ)設(shè)備;軟件方面，操作系統(tǒng)中已經(jīng)有了專門(mén)的數(shù)據(jù)管理軟件，一般稱為文件系統(tǒng);處理方式上不僅有了批處理，而且能夠聯(lián)機(jī)實(shí)時(shí)處理。用文件系統(tǒng)管理數(shù)據(jù)具有如下特點(diǎn)：

(1)，數(shù)據(jù)可以長(zhǎng)期保存。由于大量用于數(shù)據(jù)處理，數(shù)據(jù)需要長(zhǎng)期保留在外存上反復(fù)進(jìn)行查詢、修改、插入和刪除等操作。

(2)，由文件系統(tǒng)管理數(shù)據(jù)。

同時(shí)，文件系統(tǒng)也存在著一些缺點(diǎn)，其中主要的是數(shù)據(jù)共享性差，冗余度大。在文件系統(tǒng)中，一個(gè)文件基本上對(duì)應(yīng)于一個(gè)應(yīng)用程序，即文件仍然是面向應(yīng)用的。當(dāng)不同的應(yīng)用程序具有部分相同的數(shù)據(jù)時(shí)，也必須建立各自的文件，而不能共享相同的數(shù)據(jù)，因此數(shù)據(jù)冗余度大，浪費(fèi)存儲(chǔ)空間。同時(shí)，由于相同數(shù)據(jù)的重復(fù)存儲(chǔ)、各自管理，容易造成數(shù)據(jù)的不一致性，給數(shù)據(jù)的修改和維護(hù)帶來(lái)了困難

三，數(shù)據(jù)庫(kù)系統(tǒng)階段

20世紀(jì)60年代后期以來(lái)，計(jì)算機(jī)管理的對(duì)象規(guī)模越來(lái)越大，應(yīng)用范圍有越來(lái)越廣泛，數(shù)據(jù)量急劇增長(zhǎng)，同時(shí)多種應(yīng)用、多種語(yǔ)言互相覆蓋地共享數(shù)據(jù)集合的要求越來(lái)越強(qiáng)烈，數(shù)據(jù)庫(kù)技術(shù)邊應(yīng)運(yùn)而生，出現(xiàn)了同意管理數(shù)據(jù)的專門(mén)軟件系統(tǒng)——數(shù)據(jù)庫(kù)管理系統(tǒng)。

用數(shù)據(jù)庫(kù)系統(tǒng)來(lái)管理數(shù)據(jù)比文件系統(tǒng)具有明顯的優(yōu)點(diǎn)，從文件系統(tǒng)到數(shù)據(jù)庫(kù)系統(tǒng)，標(biāo)志著數(shù)據(jù)庫(kù)管理技術(shù)的飛躍。

百分網(wǎng)面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理

前面講到數(shù)據(jù)管理經(jīng)歷了人工管理、文件管理、數(shù)據(jù)庫(kù)管理等三個(gè)階段，主要是利用計(jì)算機(jī)硬件和軟件技術(shù)對(duì)數(shù)據(jù)進(jìn)行有效的收集、存儲(chǔ)、處理和應(yīng)用的過(guò)程。隨著信息技術(shù)的進(jìn)步，管理信息系統(tǒng)將面向大規(guī)模的組織提供業(yè)務(wù)支持，不僅要覆蓋整個(gè)組織的各類業(yè)務(wù)，而且要覆蓋整個(gè)組織(全球或者全國(guó))。為此，作為管理信息系統(tǒng)的核心功能，數(shù)據(jù)管理將要進(jìn)入一個(gè)新的階段，即面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理。

面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理概念。

數(shù)據(jù)管理，即對(duì)數(shù)據(jù)資源的管理。按照en:DAMA的定義：“數(shù)據(jù)資源管理，致力于發(fā)展處理企業(yè)數(shù)據(jù)生命周期的適當(dāng)?shù)慕��?gòu)、策略、實(shí)踐和程序”。這是一個(gè)高層而包含廣泛的定義，而并不一定直接涉及數(shù)據(jù)管理的具體操作(摘自維基百科)。與百度百科的定義比較，百度百科的定義針對(duì)的是數(shù)據(jù)應(yīng)用過(guò)程中數(shù)據(jù)的管理，即傳統(tǒng)的數(shù)據(jù)管理，而維基百科的定義更高一層，針對(duì)的是企業(yè)數(shù)據(jù)全生命周期所涉及應(yīng)用過(guò)程數(shù)據(jù)的管理，即對(duì)數(shù)據(jù)變化的管理，或者說(shuō)是針對(duì)描述數(shù)據(jù)的數(shù)據(jù)(元數(shù)據(jù))的管理，在此我們稱之為面向應(yīng)用的數(shù)據(jù)管理。

根據(jù)管理學(xué)理論，幾個(gè)人的團(tuán)隊(duì)可以靠自覺(jué)、自律，幾十個(gè)人就要有人管理，幾百個(gè)人就要有一個(gè)團(tuán)隊(duì)管理，幾千或幾萬(wàn)人就必須要依靠計(jì)算機(jī)輔助團(tuán)隊(duì)管理。通常覆蓋全國(guó)的企業(yè)和機(jī)構(gòu)，其整個(gè)組織的管理分為總部機(jī)構(gòu)、省級(jí)機(jī)構(gòu)、市級(jí)機(jī)構(gòu)、以及基層機(jī)構(gòu)等等各層級(jí)機(jī)構(gòu);在每個(gè)層級(jí)機(jī)構(gòu)中還設(shè)置了直接從事相應(yīng)業(yè)務(wù)的管理和職能部門(mén)和非直接從事業(yè)務(wù)的管理和職能部門(mén)(如人事、辦公、后勤、審計(jì)等);每個(gè)部門(mén)又是由若干員工為管理對(duì)象構(gòu)成的。同時(shí)，還制定了一系列的制度去規(guī)范和約束機(jī)構(gòu)、部門(mén)、人員等管理對(duì)象的活動(dòng)、行為等。

同樣，數(shù)據(jù)管理隨著管理對(duì)象——數(shù)據(jù)的增加，管理的方式(階段)也會(huì)隨之提升。通常的大型管理信息系統(tǒng)，其整個(gè)項(xiàng)目分為總集成、分項(xiàng)目、子項(xiàng)目、每個(gè)子項(xiàng)目又有若干內(nèi)部項(xiàng)目組等等管理層級(jí);在每個(gè)管理層級(jí)中都涉及直接服務(wù)于業(yè)務(wù)的業(yè)務(wù)功能(如業(yè)務(wù)交易、賬務(wù)處理、行政管理、結(jié)果展現(xiàn)等等)和非直接服務(wù)于業(yè)務(wù)的非業(yè)務(wù)功能(如定義、配置、監(jiān)控、分析、記錄、調(diào)度等等);每個(gè)業(yè)務(wù)和非業(yè)務(wù)性質(zhì)的功能又分別由若干數(shù)據(jù)集合為對(duì)象(如流程、表單、數(shù)據(jù)項(xiàng)、算法、元數(shù)據(jù)、日志等等)所構(gòu)成的。同時(shí)，也需要制定一系列制度、規(guī)則和標(biāo)準(zhǔn)去約束項(xiàng)目、功能、數(shù)據(jù)等管理對(duì)象的活動(dòng)和變化。

由此可見(jiàn)，傳統(tǒng)的數(shù)據(jù)管理側(cè)重的數(shù)據(jù)對(duì)象是流程、表單、數(shù)據(jù)項(xiàng)、算法等直接面向具體業(yè)務(wù)需求的數(shù)據(jù);面向應(yīng)用的數(shù)據(jù)管理所涉及的數(shù)據(jù)對(duì)象，還增加了通過(guò)標(biāo)準(zhǔn)化的手段，描述流程、表單、數(shù)據(jù)項(xiàng)、算法等應(yīng)用對(duì)象的數(shù)據(jù)(即它們對(duì)應(yīng)的元數(shù)據(jù))，以及記錄各類數(shù)據(jù)變化結(jié)果的檔案、記錄運(yùn)行狀態(tài)的日志等等非直接面向業(yè)務(wù)的數(shù)據(jù)，以實(shí)現(xiàn)對(duì)各類應(yīng)用業(yè)務(wù)需求的加載、變化、記錄、復(fù)用等過(guò)程的管理。