數據大集中管理模式下數據同步技術探討論文

數據大集中管理模式下數據同步技術探討論文

　　摘要：為確保在大集中數據管理模式下數據的安全，本文就目前流行的ORACLE數據同步技術DATA GUARD、STREAM、GOLDEN GATE技術進行比較，分析其優劣，并結合業務需求，就如何建立同地和異地的數據同步機制進行探討。

　　關鍵詞：關鍵字：數據庫 ；ORACLE；數據同步；安全

　　1. 現狀及需求

　　1.1現狀

　　從2008年開始，我市建立了重慶市主城范圍內集中統一管理的城鎮地籍數據庫，實現了城鎮土地登記系統和數據的大集中,中心數據庫采用ORACLE數據庫平臺。

　　按照我市土地和房屋合一登記的管理模式的要求，從2010年開始，我市各房屋登記中心在全市集中的城鎮地籍數據庫的基礎上，結合原有的房屋登記系統，以宗地為線索開展了房屋登記數據的清理工作，建立了全市集中統一的城鎮地房籍數據庫和應用系統。

　　1.2 需求

　　由于我市實行的是大集中的數據管理模式，中心生產數據庫在出現故障的情況下如不能得到及時恢復，將導致全市土地和房屋登記業務停頓，因此必須在中心機房建立與生產數據庫實時同步的數據庫，確保在生產數據庫出現較長時間不能恢復的故障的情況下，啟用備用數據庫，保證業務的連續。

　　同時，由于數據在市局統一存放，各單位無數據庫。而各單位由于對數據使用的需求千差萬別，無法在市局統一的數據庫上滿足其個性化的需求。因此需將市局集中的數據同步到各區，既可實現數據的異地備份，同時各區可利用改回備數據進行各類統計分析和專題利用。

　　2. 技術比較

　　目前基于Oracle數據庫的數據同步技術大體上可分為兩類：Oracle自帶的數據同步技術和第三方廠商提供的數據同步技術。Oracle自帶的同步技術主要有DataGuard，Streams， GoldenGate三種技術。第三方廠商的數據同步技術有Quest公司的SharePlex和DSG的RealSync。

　　本文重點就ORACLE本身提供的DataGuard，Streams， GoldenGate三種同步技術進行比較。

　　2.1 DataGuard技術

　　DataGuard是Oracle數據庫自帶的數據同步功能，基本原理是將日志文件從原數據庫傳輸到目標數據庫，然后在目標數據庫上應用（Apply）這些日志文件，從而使目標數據庫與源數據庫保持同步。

　　DataGuard為源數據庫提供了兩種日志傳輸方式，ARCH傳輸方式和LGWR傳輸方式，其中，LGWR傳輸方式可實現同步和異步的傳輸。在這些日志傳輸的方式上，可提供三種數據

　　保護模式，即最大性能（Maximum Performance Mode）、最大保護（Maximum Protection Mode）和最大可用（Maximum Availability Mode）。

　　根據目標數據庫對日志應用方式（Log Apply）的不同，該技術可分為Physical Standby（Redo Apply）和Logical Standby（SQL Apply）兩種方式。物理同步是指目標庫通過介質恢復的方式保持與源數據庫同步。邏輯同步是指目標數據庫通過LogMiner挖掘從源數據庫傳輸過來的日志，構造成SQL語句，然后在目標庫上執行這些SQL，使之與源數據庫保持同步。

　　2.2 Streams技術

　　Streams技術是指利用挖掘日志文件生成變更的邏輯記錄，然后將這些變更應用到目標數據庫上，從而實現數據庫之間或一個數據庫內部的數據同步。

　　其實現步驟為利用Capture進程分析日志，生成邏輯記錄（LCR），將其放入一個隊列。Propagation進程將生成的邏輯記錄發送到目標數據庫中。目標數據庫利用Apply進程將LCR應用到數據庫中，實現與源數據庫的同步。

　　Capture進程一般位于源數據庫，Capture進程將日志分析后生成的LCR，然后再傳輸到目標數據庫中進行應用。也可將Capture進程配置在目標數據庫中，源數據庫直接將日志文件傳輸到目標數據庫，然后再利用配置在目標數據庫的Capture進程進行分析，生成邏輯記錄再利用Apply進程進行應用。

　　2.3 GoldenGate技術

　　GoldenGate數據同步的基本原理是由Extract進程讀取源數據庫的事物日志（Oracle中是redo log），將其中的變更操作（、update、等）按事務執行的順序組合在一起，直接將其發送到目標服務其上，或者存放到Trails文件中，然后由Data Pump進程將Trails文件傳輸到目標服務其上，在目標服務器上Collector進程接收從源服務器傳送過來的Trails文件，最后由Replicat進程將Trails文件中的數據裝載到目標數據庫中。GoldenGate通過網絡傳輸的數據量通常是日志量的1/4或更少。

　　以下為三者的優劣比較：

　　3. 技術選擇

　　3.1 中心數據庫與本地數據庫同步技術選擇

　　為避免中心數據庫在出現長時間不能恢復故障引起業務的長時間停頓，我們利用2004年購置的IBM P650小機建立了中心數據庫的鏡像數據庫。考慮到中心數據庫和鏡像數據庫均使用UNIX操作系統，而且都在一個局域網內，為方便配置，我們通過DATA GUARD實現中心數據庫與鏡像數據庫的數據同步。同時，為確保數據數據的零丟失，日志傳輸采用最大保護模式。

　　3.2 中心數據庫與區（縣）數據庫異地同步的技術選擇

　　由于我市市級集中的中心數據庫安裝在UNIX操作系統上，而各區只能提供普通的PC服務器均安裝的為WINDOWS操作系統進行數據回備，而且單位數量有三十多個，由于DATA GUARD只支持同平臺的數據庫之間的數據同步，而且只支持最多9個的STANDBY數據庫。同時考慮到中心數據庫之間與其他單位的數據庫分別處于不同地方，之間用6M的網絡相連，正常工作時間還需通過網絡傳輸大量的業務數據，而通過STREAM的數據同步技術需占用大量的網絡帶寬。

　　由于中心數據庫與區（縣）數據庫平臺操作系統平臺異構，同時要實現一個中心數據庫與30多個數據庫的同步，盡量減少因同步數據對網絡帶寬的占用，考慮到GOLDEN GATE在這些方面都具有明顯優點，因此中心數據庫與區（縣）數據庫的同步采用GOLDEN GATE的技術實現。

　　參考文獻：

　　[1] 郭偉華 淺談ORACLE數據同步技術 《科技資訊》2010.2

　　[2]楊朝紅,宮云戰,桑偉前,等.基于主從異步復制技術的容災實時系統研究與實現.《計算機研究與發展》 2003.40

【數據大集中管理模式下數據同步技術探討論文】相關文章：

基于云計算的數據挖掘技術探討論文05-02

數據挖掘技術的研究論文05-02

過采樣技術在光纖陀螺數據采集中的應用04-30

數據挖掘論文04-29

高校管理數據挖掘技術的應用論文05-02

移動通信網絡與大數據探討論文05-02

學校數據共享方法探討05-01

生產車間數據采集與監控系統探討論文05-02

大數據時代下軟件工程關鍵技術研討論文04-27

大數據背景下的統計與OK策劃研究論文05-02