基于Oracle11g的集裝箱碼頭TOS系統(tǒng)

摘要：隨著集裝箱碼頭業(yè)務量的增長，在碼頭TOS（Tape Operating System）數(shù)據(jù)庫應用中，經(jīng)常會有一些幾十GB，上百GB的數(shù)據(jù)表。年吞吐量越大的碼頭，TOS系統(tǒng)的數(shù)據(jù)增長量越大。這些大數(shù)據(jù)量表的設計，維護及其備份都是TOS系統(tǒng)數(shù)據(jù)庫管理中的重點及其難點。本文就從設計、維護及其備份方面探討一下大數(shù)據(jù)量表的管理，并利用Oracle11g的最新特性，為碼頭用戶提供更加智能、高效的大數(shù)據(jù)清理及轉(zhuǎn)儲解決方案。

關(guān)鍵詞：TOS；數(shù)據(jù)倉庫；數(shù)據(jù)清理；數(shù)據(jù)轉(zhuǎn)儲 

一、引言

隨著集裝箱碼頭生產(chǎn)系統(tǒng)生產(chǎn)數(shù)據(jù)的增長，系統(tǒng)的運行速度會隨之下降。數(shù)據(jù)量的增長，會降低數(shù)據(jù)庫檢索及插入新數(shù)據(jù)的效率。對于數(shù)據(jù)清理及轉(zhuǎn)儲的傳統(tǒng)方式，首先我們需要先把歷史數(shù)據(jù)先備份下來，然后在刪除對應的數(shù)據(jù)庫表記錄。為了保證數(shù)據(jù)的一致性，我們在做數(shù)據(jù)清理前還需要將數(shù)據(jù)庫的表空間進行鎖定；同時還要將需要清理及轉(zhuǎn)儲的表對應的觸發(fā)器禁止掉。集裝箱碼頭是24小時運營的。停產(chǎn)將導致給碼頭帶來一定的經(jīng)濟損失。那么如何保證在不中斷用戶業(yè)務的前提下，能夠?qū)④浖到y(tǒng)的歷史數(shù)據(jù)進行清理并保證數(shù)據(jù)可恢復呢？用戶對數(shù)據(jù)清理及轉(zhuǎn)儲的需求是什么？基于Oracle11g的轉(zhuǎn)儲原理，能給用戶帶來什么樣的好處？本文將圍繞這些問題進行討論，并介紹采用這種方式后，數(shù)據(jù)轉(zhuǎn)儲的整個過程。

二、數(shù)據(jù)轉(zhuǎn)儲原理及方式

Oracle8i以后推出了分區(qū)選項。分區(qū)將表分離在若干不同的表空間上，用分而治之的方法來支撐元先膨脹的大表，組大表在物理一級的可管理性.將大表分割成較小的分區(qū)可以改善表的維護、備份、恢復、事務及查詢性能。采用表分區(qū)將數(shù)據(jù)按時間隔離。然后根據(jù)時間段，對歷史數(shù)據(jù)進行清理。當表中的數(shù)據(jù)量不斷增大，查詢數(shù)據(jù)的速度就會變慢，應用程序的性能就會下降，這時就該考慮對表進行分區(qū)。對表進行分區(qū)之后，在邏輯上表仍然是一張完整的表，只是將表中的數(shù)據(jù)在物理上存放到多個表空間上，這樣查詢數(shù)據(jù)時，不至于每次都掃描整張表。因此，我們只需要按表記錄時間做分區(qū)。清理及轉(zhuǎn)儲時，只需要將不需要的歷史數(shù)據(jù)按年進行drop即可。執(zhí)行的時間快，而且不需要對表空間進行鎖定和禁止表觸發(fā)器。用戶完全體驗不到數(shù)據(jù)庫有任何變化。用戶也無需中斷當前生產(chǎn)作業(yè)。

我們在數(shù)據(jù)清理和轉(zhuǎn)儲前可以有選擇的對將被清理的數(shù)據(jù)進行數(shù)據(jù)備份。本文建議可以采用以下2種方式：（1）將數(shù)據(jù)備份到磁帶機上或?qū)钠渌鎯υO備上。在需要的時候，導入到臨時數(shù)據(jù)庫。（2）將需要轉(zhuǎn)儲數(shù)據(jù)遷移到數(shù)據(jù)倉庫。用戶可對數(shù)據(jù)倉庫的數(shù)據(jù)查詢、數(shù)據(jù)的挖掘、處理。（3）可以自動化、智能化的對數(shù)據(jù)進行清理及轉(zhuǎn)儲。對于非關(guān)鍵數(shù)據(jù)和關(guān)鍵數(shù)據(jù)，可以分別根據(jù)月份、年份清理相關(guān)的數(shù)據(jù)。

三、數(shù)據(jù)分區(qū)

3.1分區(qū)的依據(jù)

單表輸入容量超過2GB的情況下應該進行分區(qū)；對包含歷史數(shù)據(jù)輸入的表應該進行分區(qū)，所謂包含歷史數(shù)據(jù)是指新的數(shù)據(jù)將會被放到最新的分區(qū)里面。一個典型的例子是一個表只有當前月份的數(shù)據(jù)可以更新，但是其余月份的處于只讀狀態(tài)。

3.2分區(qū)的好處

增強可用性：如果表的一個分區(qū)由于系統(tǒng)故障而不能使用，表的其余分區(qū)可以使用；減少關(guān)閉時間：如果系統(tǒng)故障只影響表的一部份分區(qū)，那么只有這部份分區(qū)需要修復，可能比整個大表修復花的時間更少；維護輕松：如果需要得建表，獨產(chǎn)管理每個公區(qū)比管理單個大表要輕松得多；均衡I/O：可以把表的不同分區(qū)分配到不同的磁盤來平衡I/O改善性能；改善性能：對大表的查詢、增加、修改等操作可以分解到表的不同分區(qū)來并行執(zhí)行，可使運行速度更快，在數(shù)據(jù)倉庫的TP查詢特別有用；分區(qū)對用戶透明：最終用戶感覺不到分區(qū)的存在。

3.3分區(qū)的方法

四、TOS歷史數(shù)據(jù)的清理及轉(zhuǎn)儲過程

TOS歷史數(shù)據(jù)的清理及轉(zhuǎn)儲過程分為四步：（1）選擇需要轉(zhuǎn)儲的數(shù)據(jù)?？梢园茨昊虬丛逻M行清理。非關(guān)鍵數(shù)據(jù)建議按月進行清理，關(guān)鍵生產(chǎn)數(shù)據(jù)建議按年進行清理。比如：當前是2014年1月份。用戶希望碼頭生產(chǎn)系統(tǒng)只保留12個月的數(shù)據(jù)。因此，我們可以把時間小于2013年01月之前的數(shù)據(jù)清除掉。（2）導出轉(zhuǎn)儲數(shù)據(jù)在刪除前，使用oracle自帶的expdp和exp工具導出對應的數(shù)據(jù)。如果出現(xiàn)誤操作或用戶希望對清理后的數(shù)據(jù)查詢時，對數(shù)據(jù)進行恢復。（3）數(shù)據(jù)清理（4）數(shù)據(jù)恢復，用戶如果希望對轉(zhuǎn)儲后的數(shù)據(jù)進行查詢，可以利用oracle數(shù)據(jù)庫自帶的工具Impdp和Imp，在服務端或客戶端兩種方式將備份出來的數(shù)據(jù)導入指定數(shù)據(jù)庫進行數(shù)據(jù)恢復。

參考文獻

[1]Jujay.一個利用傳輸表空間和分區(qū)交換技術(shù)進行數(shù)據(jù)遷移的案例.ATAGURE.2012，(12)

[2]Luocs.Oracle分區(qū)擴展-3分區(qū)表的索引維護.LuocusTechnologyBlog.2013，(1)

[3]KarenReliford.OracleDatabase11gNewFeaturesforTablePartitioning.DatabaseJournal.2010，(1)